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第 0 章绪论概率论的性质 


o . 1背 景 

概率论是一门数学学科，它与几何学或分析力学等学科有很相似的目标.对每 
一门学科我们都必须仔细地去区分理论的三个 方面： （a) 形式逻辑的 内容； （b) 直观 
的背景； （C) 应用.不按这三方面之间的固有关系去考虑这三方面，就不能正确估计 
其全部结构的特性和优点. 

1. 形式逻辑的内容 

公理化的数学只论及某些无定义的事物之间的关系.这一点可以用下国际象棋 
来作很好的说明.要想描述国际象棋，除了陈述一组下棋规则外，不可能给象棋下 
一个“定义”.尽管对棋子的通常的形式可以作某种程度的描写，但仅凭对棋子本身 
的形状的描述不一定能清楚地说明哪个棋子是王.棋盘和棋子是有用的，但没有它 
们仍然可以下棋.重要的事情在于了解棋子的走法与作用，也就是要了解一组棋规. 
要问国际象棋中的一个“卒”或“王”的“定义”或“精确的本性”是什么，这是 
没有意义的.与此类似，在几何学中我们也不去过问点和直线到底是什么.点和直 
线是无定义的概念，而几何公理规定它们之间的一些关系，例如，两点确定一条直 
线等等.这些就是规则，没人提出异议.我们可以改变公理系统而去研究不同形式 
的几何，而且各种非欧几何的逻辑结构不依赖它们与现实的关系.物理学家曾研究， 
在不同于牛顿的万有引力定律时物体如何运动.即使牛顿的万有引力定律是正确的， 
这种研究也是有意义的. 

2. 直观的背景 

与国际象棋不同，几何学和力学的公理反映了客观存在着的直观背景.事实上， 
几何的直观性是如此之强，以致它常常会跑在逻辑推理的前面 • 逻辑、直观与实际 
经验三者之间的相互依赖性达到怎样的高度，这个问题我们不需要去讨论.当然, 
人们的直观能力是可以锻炼和发展的.例如，下棋时，初学者总是小心翼翼，走棋 
时还要想一想的卜棋规则；但是有经验的棋手在一瞥之间就能掌握复杂的情况，对 
他的直观往往不能用理由来解释.同样，数学直观随着经验增加而增加，人们有可 
能对于一些概念例如 4 维空间发展一种自然感觉. 

甚至人类的集体直观能力也在进 步着. 牛顿的力场概念、超距作用的概念、麦 





克斯韦 （ Maxwell ) 关于电磁波的概念，起初都被认为是“不能想像的”和“违反直 
观的”.现代技术和媒体、通迅的普及，使得这些概念成为一些通常的语汇.同样， 
现在的学生不会体会到，当概率论还在萌芽的时候，它与某些思维方式、偏见及其 
他困难的斗争情形.现在，报纸报导着民意测验的样本，统计的影响已经渗透到生 
活的各个方面，年青的女孩们也会从统计数字中查看自己结婚的可能性.于是对于 
像这样的 陈述： “这个事件的机会是 5 分之 3”， 人人都有了直观的感觉.这虽然是很 
模糊的，但此直观感觉足够作为概率论入门的指南和背景.随着理论的发展，以及 
接触到一些更为微妙的应用，这个直观能力还要得到发展. 

3. 应用 

应用几何学和力学的概念时，要把它们与某些物理对象等同起来，但是这个结 
合过程非常灵活，且变化无常，不能给出普遍的法则来.刚体这个概念是基本但有 
用的概念，虽然没有一个物理对象真正具备它的条件.哪些物体能当作刚体来处理， 
要视所处环境和所需要的近似度来决定.橡胶当然不是刚体，但是在讨论汽车在冰 
上运动的时候，许多教科书是把橡胶轮胎当作刚体来处理的.按照理论的目的，我 
们不管物质的原子结构，而有时把太阳当作一个痒续物质的大球来处理，有时又把 
它当作一个质点来处理. 

在应用中，抽象的数学模型只是当作工具来使用，而对同一实际场合可以采用 
不同的模型来描述. 数学理论的应用方式不依赖于事先形成的意见，它是一个有目 
的的技术，依赖于“经验，而且随着经验改变. 这些技术的哲学分析是值得研究的， 
但它不属于数学、物理学或统计学范围以内.因此，必须把关于概率基础的哲学从 
数学和统计学中分离出去，犹如关于直观空间概念的讨论，现在已经从几何学中分 

离出去一样. 

0. 2方法和步骤 

概率论的历史（一般数学史亦然）呈现出理论和应用的相互促进的现象：理论 
的进展开辟了应用的新领域，反过来每一个新的应用又产生出新的理论问题和有成 
果的 研究. 目前概率论已应用到很多不同的领域，而我们所要求的是一个普遍性理 
论所具有的那种灵活性，以便对广泛的种种需求提供恰当的工具.因此我们必须反 
对下述企图（与趋 向）： 把其理论、术语及其思想库建立得过分接近于某一特殊兴趣 
范围.我们所要做的绝非如此，而是按照在几何学和力学中已经证明为十分成功的 

方式来发展出一种数学理论 • 

我们先从扔硬币和掷骰子等最简单的实验出发，在这些场合，所有的陈述都有着 
明显的直观意义.我们把这个直观性翻译成一个抽象的模型，然后把这模型加以推广， 
使它能够适用于更复杂的场合.书中的实例是用来阐明几种模型的经验背景和启发读 


0.3 “ 统计”概率 3 


者的直观能力的，但理论本身还是数学性质的.我们不拟力求解释概率的“真正意 
义”，正如近代物理学家不致力于阐明质量和能的“实在意义”.几何学家不致力于解 
释点的性质那样.我们将要做的，就是证明一些定理，并指出这些定理怎样应用. 

最初，概率论的目的是描述有关机会游戏的经验这一狭窄的领域，这时，主要 
目标只是要把某些概率计算出来.在开始的几章里，我们也计算一些典型的概率， 
但是要记住数值的概率不是理论的主要对象.其目的在于发现一般的规律并构造出 


满意的理论模型. 

概率对我们所起的作用正如质量在力学中所起的作用.在力学上，即使不知道 
个别行星的质量，不去思考实际上测量这些质量的方法，也照样可以讨论行星体系 
的运动，甚至虚构的行星体系也可以作为一个有益的、有启发的研究 对象. 类似地， 
一些 实际的且有用的概率模型涉及一些不能观察到的世事. 例如几十亿元已用于投 
资自动电话交换.这些都是因为从简单的概率论模型来考虑时，对其中各种可能的 
系统都需作比较.理论上的最优系统被建立起来了，而其余的系统也就不存在了 • 
在保险业中，概率论用来计算毁灭概率，就是用这理论来避免某些不期望发生的情 
形.因此，它应用到一些实际上观察不到的 情形. 即使连一个数值都不能得到时， 
概率论仍然是有效的和有用的. 

0.3 “统计”概率 

近代概率的数学理论的成就是有代价的，那就是把理论局限在“机会”的某一 
个特殊方面.概率的直观概念联系到归纳推理，以及像下面的一些判断：“保尔大概 
是一个幸运的人”，“这本书大概是一部失败之作”，“费马 （ Fermat ) 的猜测大概是 
不正确的”.这类判断是哲学家和逻辑学家感兴趣的，也是数学理论 [1] 研究的对象. 
然而必须这样了解，我们所关心的不是归纳推理的形态，而是一种可以叫作是物理 
概率或者统计概率的事物.粗略地来解释一下这句话的意思，可以这 样说： 我们所 
说的概率不是关于这些判断， 而 是关于一个理 想实验 的可能结果.在我们谈到概率 
之前，大家必须先承认一个特殊理想实验的想像模型，譬如说扔硬币，甚至抽样观 
察月球上的袋鼠观察扩散物中一个质点，记录打来电话的 次数. 一开始就需承认什 
么是这个理想实验所有的可能结果（即“ 样本空 间”）以及它们的概率.这种构想可 
以在力学里找到类似 情况： 在力学里引进了包含着2个、3个或17个质点的臆想模 
型，其中质点并没有任何特性.同样，如果我们来分析扔硬币的实验，我们理论的 

对象只是像“正面，正面，反面，正面， . ”这些记号的序列，而不关心实际实 

验的偶然情况.在这个体系里，像什么“明天太阳将升起的概率是多少”是不在考 
察之列的.假使我们要讨论这个概率，我们势必先来确定一个实验的（理想）模型， 
而这个实验不免要说成“从无穷多个存在中随机地选取一个…… ”. 构造这样一个模 
型其 实也不需要多大的想像力，但是这样做是无聊而且毫无意义的 • 
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天文学家谈论测量太阳中心的温度和到天狼星上的旅行.这些似乎是不能办到 
的，但是作这种思考并不是没有意义的.同理，我们也不去关心理想的实验能否实 
现.我们将要从事于分析抽象的模型.在我们的思想深处，保持着概率的一个直观 
解释，这种解释在某些应用中获得实施的意义.我 们想像 把实验重复做很多次.概 
率为 0. 6的事件终究可以期望在100次里出现60次.这句话是有意地含糊其辞的， 
但是，对于较为初等的应用来说，它提供了一个足够形象的直观背景.随着理论更 
精深地发展，实用意义和直观图像就变得更具体了. 

0. 4摘 要 

我们将要考虑一些理论模型 • 在这些模型中，概率像力学中的质量一样，是作 
为一些 自由参数而出现的.可以用各种各样不同的方法来应用 它们， 应用的技巧和 
直 观能力随着理论的发展而发展. 

这是其他数学学科中所采用的富有成效的标准手法.没有其他的手法可以满足 
正在发展着的概率论及其应用的各个分支的各种各样的需要. 

令我们惋惜的是，直观的概率不能充分满足科学的需要，但是它的存在确是一 
个历史事实.在第1_6节例 （ b ) 中，我们将要讨论多个质点在多个盒里随机分布的 
问题.适当的或者“自然’’的概率分布对每个人来说似乎是完全清楚的，并且可以 
被物理学家毫不犹豫地接受.然而，事情是这样，物理质点的概念在人们意识中是 
没有经过训练的，而“自然”（或玻耳兹曼 （ Boltzmann )) 分布有时必须代以爱因斯 
坦 - 波司 （ Einstein - Bose ) 分布，有时又必须代以费米 - 狄拉克 （ Fermi - Dirac ) 分布. 
直观论证不能说明为什么光子不同于质子，为什么它们不遵从一个“预先给定”的 
规律. 如果现 在能找到一种论证，那也只能说明直观概念和理论一起发展罢了.无 
论如何，即使对应用来说，自由和灵活都是重要的，而且把理论局限在一个固定的 

范畴里是不利的. 

有人叫嚷现代概率论是如此抽象和如此普遍化，以至难于应用.这类似于实用 
的人们当初曾经反对麦克斯韦场论的挑战口吻.这个论点可以被下列事实所 驳倒： 
抽象的随机过程理论提供了一些新的未曾想像过的应用，现代的起伏理论所提供的 
新的知识又一次地与直观想法相违背，并且使人们去修正对实际的 态度. 然而，这 
种辩论是没有什么用处的，在昨天还认为是不合实际的东西今天就是实际的东西了， 
而明天将要成为理论的又被今天的实用的人们认为是毫无价值的游戏 • 

0.5 历史小记 

对概率的统计或经验观点主要是由冯 • 米泽斯 （R. von Mises ) 和费希尔 （ R . A . 
Fisher ) 发展的.样 本空间 [2] 的概念是由冯•米泽斯引进的.这个概念使得有可能把概 
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率的严格的数学理论建立在测度论上.在20世纪二十年代中，在许多作者的影响下， 
概率论的测度论方法逐渐形成.现代概率的公理化处理，是由科尔莫戈罗夫 （ A . Kd - 
mog 0 rOV ) [3] 给出的.我们将沿着这一线索进行讨论，但是，由于这一卷只讨论离散概 
率的简单情形，公理化系统这个名词就显得太严 谨了. 
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1. 1经验背景 

概率论的数学理论，与许多实际的和理想的实验相联系，或结合一些生活现象， 
便获得了实用的价值和直观的意义.这里所谓实际的和理想的实验，例 如有： 扔1次 
硬币；扔100次 硬币； 掷3颗 骰子； 理一副 纸牌； 用两副纸牌对点 S 玩轮盘赌；观 
察放射性原子的寿命或观察人的 寿命； 以人为随机样本而观察其中左撇子的人数； 
将两种作物杂交而观察它们后代的遗传型.所谓生活现象，例如有：初生儿的性别•， 
电话交换中被占用的通话线路的数目；电话的来电次数；在电讯系统里面的随机噪 
声； 生产过程的例行质量 控制； 意外事故的 频率； 天空某一区域内双星的 个数； 在 
扩散过程中一个质点的位置.上列各项描述是含糊了一点，要使概率论有意义，我 
们还必须一同明确 所探讨的实验或观察的可能结果究 竟是指什么. 

硬币掉下时不一定是正面朝上或反面朝上，它可能是滚掉了，也可能是笔直地 
站着.但是我们只承认正面和反面是扔硬币以后仅有的可能结果.这样一来，理论 
要简洁得多了，同时也不影响其应用.这种类型的理想化是实践中标准的处理办法. 
测定原子的寿命或人的寿命而没有误差是不可能的，但是为了理论上的目的，我们 
不妨设想寿命是实实在在的一个数.这样问题就产 生了： 什么样的数值能确实地代 
表一个人的寿命？有没有生命不吋逾越的最大年龄？是否一切年龄都是可以设想的 
呢？ 一 方面，谁也不认为人能活到一 千岁； 另一方面，现行的保险业务对于人的可 
能寿命却不加任何上限.按照寿险死亡率表所基于的公式算出来，千年不死的人在 
全人类中大约只占10#分 之一， 10#这个数共含有10 28 亿个零.这个结论从生物学 
或社会学的角度看来，固然是毫无意义的，但是单纯从统计上着眼，它和经验当然 
没有什么矛盾.因为一个世纪内出生的人数还不到 10' 要想用统计方法来检验上述 
说法，就需要10#个世纪以上的时间，而这个时间段比地球的寿命的10#倍还要大 
得多.毫无疑问，这样小的概率和我们心目中的“不可能性”是没有什么矛盾的. 
你也许认为，这种小概率的使用本身就是荒谬绝伦的.其实不然，使用这种小概率 
非但没有坏处，而且还可以简化公式.再说，如果我们真地把活一千年的可能性排 
除掉，我们势必承认一个最大年龄限的存在，说人能活工年而不能活 T 年零两秒， 
这种说法决不会比无限寿命的说法更能讲得通些. 
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编者注 




任何理论都必然含有理想化，对于我们来说，第一个理想化是关于“实验”或 
“观察”的可能结果.如果我们要为实验制作一个抽象模型，我们必须一开始就作出 
决 定：这 （理想的）实验的可能结果是由哪些东西构成的. 

为了统一术语起见，我们把实验或观察的结果叫做事件.这样一来，我们就可 
以谈论“扔5个硬币至少出现3个正面”的事件.同样，打桥牌 1 的“实验”，其结果 
可以是“北家拿到2张爱司 （ ace )” 的事件.一个样本的组成元素（例如 “8 5 人组 
成的样本中有2个左撇子”）和一个测量的结果（例如“温度120°’’，“7部电话占 
线”）也都叫作事件. 

我们要区 分复合 （或可分解的） 事件和简单 （或不可分解的） 事件. 例如，要 
是掷2个骰子使“总和为6”，那就是使骰子点数成为“（1，5)或（2,4)或（3,3) 
或（4,2)或（5，1)”，即这个事例把“总和为6” 的事件分解成5个简单事件.同 
样，“两个奇数点”事件就分解为“（1，1)或（1，3)或……或 (5,5)" 9个简单事 
件. 注意： 如果掷出的结果是 (3,3), 那么，这 个相同 的结果既包含在事件“总和 
为6” 又包含在事件“两个奇数点”之内.这两个事件不是互斥的，它们可以同时发 
生.作为第二个例子，我们来考虑人的寿命.每一个特殊数值: r 代表一 个简单 事件， 
“此人 50 多岁”代表 : r 在 50 到 60 之间这一事件.用这种办法，每一个复合事件都可 
以分解为一些简单事件，也就是说，每一个复合事件是一 些简单事件的集合. 

如果要在理论上很明确地讨论“实验”或者“观察”，必须首先 约定： 简单事件 
代表可以想像的结果，我们 用它们来定义理想的实验. 换句话说，这种简单（不可 
分解）事件是不定义的，犹如几何中的点和线是不定义的一样.习惯上， 这些简单 
事件叫作样本点， 或干脆就 叫点. 由定义 得知： （理想）实验的每一个不可分解的结 
果可用一个且只能用一个样本点来表示. 所有这些样本点的全体称之为样 本空间 • 
于是，牵涉到给定的（理想）实验的一切事件，都可以用样本点来表达- 

在把这些基本的约定形式化以前，我们讨论几个以后常要用到的例子. 

1. 2例 子 

( a ) 三个球在三个盒中的分布. 表 1- 1列岀了 3 个 球放入3个盒中的“实验”的 
全部可能结果. 

其中每一个排列都代表一个简单事件，即一个样本点.事件 A “某个盒内放了 
几个球”为第1到第21个排列的总体，我们说事件 A 是由第1到第21个样本点所 

1 .打桥牌和玩扑克的 定义： 一副桥牌共52张，分4种花色，每种花色有13张.同-种花色有13个 
不同的 面值： 2,3,…，10，“贾克” （ jack )， “坤” （ queen )， “老开，’ ( king ), “爱司” （ ace ). 4种花 
色称为黑桃、梅花、红心、方块，前两种是黑色的而后两种是红色的.同面值的牌称为 同点. 所谓 
打桥牌，就是把整副牌分发给4家，这4家称为“东”、“南”、“西”、 “ 北”，每家各得13张.至于 
玩扑克的定 义是： 从一副牌里每家各取5张，进行 组合. 
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( b ) r 个球在 《 个盒中的随机 分布.对于 r 个球分布在《个盒中的一般情形完全 
可以用类似的办法来进行研究，只不过这时的排列个数随〃和《的增加而大幅度增 
加.当 n =3, r =4 时，样本空间由81个样本点构成，当 r=n = 10 时，样本空间共 
有 10 1 。 个样本点.造一个完整的表就要有约十万卷的篇幅. 

我们用上面这个例子来说明一个重要的 事实： 即样本点的性质和我们的理论是 
无关的.对于我们来说，样本空间（及定义在样本空间上的概率分布）决定了理想 
的实验 • 我们应用球和盒这种形象的语言，但是同一个样本空间可以允许有很多种 
不同的实际解释.为了说清这一点并为了今后的应用， 我们在这置抄录一些其直观 
背景很不相同的实验，然而抽象地看，它们都等价于 r 个球分布于《个盒中的模型. 
在这些情形中，其合理的赋概是不完全一样的，后面我们将要重新讨论. 

( b , l ) 生日. r 个人的生日的可能情形相当于 r 个球放人365个盒中的不同排列 
(假定一年有365天). 

( b ，2) 事故.如果把 r 个意外事件按其发生在星期几来分类的话，则它等于 r 个 
球放人《 = 7个盒中. 

( b ，3) 打 n 个靶. 子弹相当于球，靶相当于盒. 

( b ，4) 抽样.把 r 个人按其年龄和职业来分类，于是类就相当于盒而人就相当 
于球. 

( b ，5) 生物学中的 照射.当光线射到视网膜中的细胞时，光质点相当于球，而 
实际的细胞就是我们模型中 的盒. 类似地，在研究照射的遗传效果时，染色体相当 
于盒，而 a 质点相当于球. 


构成的集合.类似地，事件 B “第一个盒是不空的”是第1、第4到第15、第22到 
第27这几个样本点构成的集合.事件 C 和 B 都发生”是由第1、第4到第15 
共13个样本点构成的集合.在这个特例中，27个样本点中的每一个或者属于 A 或 
者属于 B (或者同属于二者).因此，事件“或者 A 或者 B 或者二者都发牛”就是 
整个样本空间，因此它必然发生.事件 D “ A 不发生”是由第22到第27个这6个 
样本点所构成，它可以用下述条件来 描述： 没有一个盒是空的.事件“第一个盒是 
空的而其他的盒没有放多个球”是不可能发生的，因为没有一个样本点能满足这样 
的条件. 

表 1-1 3个球放入3个盒中全部可能结果 
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实际生活中球是否可辨别与我们的理论不相干. 甚至当它们可以辨别时，我们 
也可以作不可辨别的来处理.桥牌中的爱司[例 （ b ,12)] 或者电梯中的人[例 （ b ， 
7)1 都是可以辨别的，但是把它们当作不可辨别的来处理会更方便.例 （ b ，8) 中的 


( b ，6) 宇宙射线的 实验，击中盖革 ( Geiger ) 计数器的质点相当于球，而计数器 
相当于盒. 

( b ，7) —部电梯，开始有 r 个乘客，它在《层楼中每一层都停.乘客走出电梯的 
各种不同方式的排列与 r 个球放人《个盒中的各种不同排列相同. 

( b ，8) 骰子. 掷 r 个骰子的可能结果相当于把 r 个球放入《 = 6 个 盒中.如果是 
扔硬币，则对应的盒只有《=2个. 

( b ，9) 随机数. r 个数字所构成的序列的各种可能的次序，相当于 r 个球 （对应 
于位置）放入10个称为0，1，…，9的盒中的可能分布. 

( b ,10) r 个人的性别分布. 这时我们有个盒以及 r 个球 • 

( b ， ll ) 优惠券的收集. 优惠券的不同种类相当于盒，收集的优惠券代表球. 
( b ,12) 桥牌中的爱司. 4个玩牌者代表4个盒，我们有 r =4 个球. 

( b ，13) 基因的分布. 每一个生物（人，植物或动物）的后代都从其祖先那里继承 
一 些遗传基因.如果一种特殊的遗传基因可以有《种不同的形式 A ， …，戌，则后代可 
以按其基因的类型来分类.后代相当于球，遗传基因的类型 A ，…， A ,, 相当于盒. 

( b ，14) 化学.假定长链聚合物与氧发生反应，每一个链都可能和0，1，2,…个氧 
分子起反应.这里参加反应的氧分子相当于球，而聚合物的链相当于盒. 

( b ，15) 显影液的理论. 在一个照相底板上涂上一层显影液，当这种液体的粒子 

被 r 个光子击中时，它就起反应.为了区分黑白对比度，我们必须知道多少个粒子 
(想像为盒）被 r 个光子所击中.由此，我们得到一个占位问题，粒子相当于盒，而 
光子相当于球.（当然，实际问题是很复杂的，因为底板上的液体的粒子的感光性强 
弱是不一■样的 .） 

( b ，16) 印刷错误. r 个错误在一本具有《页的书中的一切可能的分布相当于 r 
个球放人 rz 个盒中的一切可能分布，不过 r 必须小于每一页的字数. 

( c ) 球为不可辨的情形. 让我们回到例 U )， 并且假定那3个球是不可辨别的. 
这意味着像4,5,6这样的3种不同的排列都分不清了，因此表 1-1 变为表 1-2. 表 
1-2 确定了 下述理想实验的样本 空间： 把 3 个不可辨别的球放入 3 个盒中。 而且同样 
我们可以采用 r 个 球放入 n 个盒中的办法. 

表 1-2 3个不可辨别球放入3个盒中的全部可能结果 
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骰子就可以涂上颜色使之可辨别，但是，当我们讨论一些特殊的问题时，应用可辨 
别的或不可辨别的球的模型可以根据特定的目的和便利性来决定.问题的性质将决 
定我们如何选择，不过，在任何情形下，只有当适当的模型选定以后，即当样本空 
间定义以后，理论才能开始登场. 

在上面的模型中，我们考虑的球不可辨别，不过表 1-2 仍然是指第1、第2及第 
3个盒，而且它们的次序还是至关重 要的. 我们可以进一步假定盒也是不可辨别的 
(例如，盒可以随机地选取而不考虑其外在表现).当球和盒都是不可辨别的时候， 
所有可能的排列只有3种，即 {* * * | — | _}， {* * | * I — }，《* I * i *}. 

( d ) 抽样.假定为了估计吸烟的人数，我们任意选取100个人作为样本.在这 
里，我们只对其中吸烟的人数1感兴趣，而1可以是0到100之间的任意一个整数. 
这样一来，我们可以确定这个样本空间是由工=0，1，2,…，100等101个“点”所组成 
的.每个个别的样本或观察的结果完全可以用对应的点 I 来代表.现在举一个复合 
事件的 例子： “样本中的人超过半数吸烟”.这个事件意味着，实验的结果为，在1 = 
51,52,…，100等50个事件中有一个 发生； 究竟发生的是哪一个呢？这里并没有交 
待.同样，样本的每个性质都可以通过列举它所对应的情况或样本点来表示_为了 
术语上的统一，我们称其为事件而不说成样本的性质.用数学的术语来说：一个事 
件就是与之对应的所有的样本点的集合. 

( e ) 抽样（续） . 现在我们对这100个人，不但要按吸烟与否来分类，而且还要 
区分他们的 性别. 于是，现在的样本点需由男女吸烟者、男女非吸烟者的人数来表 
示.也就是由整数的四元组（风，尺，对„，尺）来 描述. 我们可以把这样的四元组的 
全体作为样本 空间： 其中的每个整数都在0与100之间，且每组四个数的和为 100. 
一共有176 851个这样的四元组共同组成样本空间（参见 2. 5 节). 所谓在一个样本 

中，“相对而言男性吸烟者多于女性”，意思就是说：在这个样本中， 比值# 大于 


F s 

F/ 


譬如像“点”（73,2,8，1 7 )就具有这个性质，而“点” 


(0，1，50,49)则不然, 


在原则上，任何事件都可以把具有所需特性的全部四元组列举出来作为描述. 


( f ) 扔 硬币. 如果把一个硬币扔3次，这时，样本空间就由8个点构成.如果以 


H 表示正面， T 表示反面，那么这 8 个点就 可以用 HHH ， HHT ， HTH ， THH ， HTT ， 
THT ， TTH ， TTT 来代表.“其中至少有2次出现正面”的事件 A 可以由这8个点中 
前 4 个所构成的集合来 表示. “恰巧有 1 次壯现背面”的事件 B 是指 HHT 或 HTH 


或 THH ， 所以我们就说 B 包含着这3个点. 

( g ) 夫妇的年龄.保险公司对于夫妇年龄的分布比较感兴趣.让我们以^'代表 
丈夫的年龄，^代表妻子的年龄.于是每作一次考察就可以得到一个数对（工，/.对 
应于考察的整个样本空间，就可以用: cy 平面的第一象限来表示’于是每一个工〉0, 
_ y >0 的点都是这个样本空间中的一个样 本点. “丈夫的年龄大于40岁”的事件 A 可 
以用直线工= 40右边的全部点来代表；“丈夫的年龄比妻子大”的事件 B 可以用 x 轴 
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与第一象限的等分线 y = 之间所夹的角状区域来代表，也就是说可以用的点 
的全体来代表；“妻子的年龄大于40岁”的事件 C 可以用第一象限中位于直线 : y = 40 
以上的部分来代表.至于2对夫妇年龄的联合分布的几何表示，就需要用到四维空 
间了. 

( h ) 相空间. 在统计力学里，体系的每个可能“状态”被称为“相空间中的一个 
点这仅仅只是术语上的不同，其实相空间就是样本空间，它的点也就是样本点. 

1.3 样本空间•事件 

如前所述，可以清楚地看出，我们不讨论概率则已，如果要提到概率，我们总 
是把它结合着所给定的样本空间（或者用物理上的话来说是结合着某个理想的实验） 
来谈.我们由样本空间和它的点的概念出发，今后我们认为，它们是已经给定 的了. 
它们是概率论中的原始的无定义的概念， 正如“点”和“直线”是欧氏几何的公理 
化处理中的无定义的概念一样.样本点本身的内在性质与我们的理论毫无关系.样 
本空间在如下意义下提供了一个理想实验的模型，按定义来说 就是： 实验中每个可 
能设想的 结果， 都完全可以由惟一的样本点来描绘. 只有从实验的每个结果都能清 
楚地判定某一事件 A 是发生还是不发生时，谈论这个事件 A 来才有意义.代表 “A 
发生了”这个事件结果的所有那些样本点的集合，就完全地描绘着 “ A 发生了”的 
这个事件.反过来，包含着一个或多个样本点的任意给定的集合 A 都可以当作一个 
事件来加以 讨论. 这个事件是否发生就由实验的结果是否由 A 中的点所表示而定， 
所以事件这个词的定义， 就完全等同于样本点的一个集合 • 我们说一个事件 A 包含 
着某些点 （或由某些点构成），就是说这些点表示在理想实验中能使 A 发生的那些 
结果. 

例 在 1.2 节例 （ a ) 中的样本空间中，考虑由点1，7，13所构成的事件17•这 
是一种形式的、直接的定义，但是， U 可以用很多等价的方法来描述.例如， U 可 
以定义为下面3个条件都满足的事件： （1) 第二个盒是空的； （2) 球 a 在第一个盒 
中； （3) 球 b 不在 c 后出现.这三个条件的每一个都确定一个事件.由条件 （1) 
所定义的事件 K 由点1，3,7 — 9，13 —15所 构成； 由条件 （2) 所定义的事件1/ 2 由 
点1，4,5,7,8，10，13,22,23所 构成； 而由条件 （3) 所定义的事件 C / 3 由点 1 — 4,6， 
7，9一 11，13,14,16, 18 — 20,22,24,25所构成.事件1/也可以考虑作三个事件认， 

l / 2 ， L / 3 同时发生. ► 

术语“事件 ，，和 “样本点”有着直观的意义，而这些概念等价于在各数学分支 

中常见的点集和点的概念. 

在上述例子和 1. 2节例 （ a ) 中，我们看到了，由两个或者两个以上的事件可以 
定义一个新的事件.由于这些例子的启发，我们引进形式化 的事件的代数 的概念 
(即是点集的代数的概念). 
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1.4 事件之间的关系 

现在，我们假定一个任意然而又是固定的样本空间®已经给定.我们用大写字 
母表示 事件， 即样本点的集合.点 I 包含在事件 A 中用: A 表示.因此每一个点 T 


都有: 当 A 和 B 均由相同的点构成时，记作 A = B . 

一般情况下，事件由一定情况下的点来定义，因此有必要引入一个记号来表示 
某些特定情况下不存在样本点的事件.以下定义将解决这个问题. 

定义1我们用符号 A =0 来表示事件 A 不包含任何样本点（即是不可能事件） • 
0必须理解为一个符号而不是数. 

相对于任何一个事件 A , 都有以 “ A 不发生”为条件来定义的另一事件，它包含 


着所有不属于 A 的点. 

定义2样本空间中一切不属于事件 A 的点所构成的事件称为 A 的补（或称 A 
的非）事件，并以 A ' 记之_特别地 ，& = 0 . 


( a ) ( b ) 

图 1-1 说明事件之间的关系 •（ a ) 中以粗线包围的区域是并集 iAUBUC . 中间黑色的三 
角形区域是交集 ABC 有浅色阴影具有月亮形的区域是 B 与 AUC 的补集之交 

对于任意两个事件 A 及 B ， 总可以伴随着两个新的事件，它们是以条件 “ A 和 B 
同时发生”和 “A 或 B 发生，或两者同时发生” 来定义的.这两个事件分别以和 
AUB 记之. 事件包含 A 和 B 中所有公共的样本点.如果 A 和 B 互相排斥，则 

就没有公共点，因而事件 AB 成为不可能事件.这时，我们就用方程 

AB =0 (4.1) 

表示，并读作 “ A 和 S 互不相容” • 事件焱扠表示 A 和 f 同时发生，换句话说，就 
是 “ A 发生而 B 不发生 ”• 同样，^表示 A 和 B 都不发生.事件 AUB 表示 A 和 
B 中至少有一个发生，它包含既不属于 A 又不属 B 的点以外的全部样本点. 

在概率论里，事件是用 A 和 B 同时发生的话来描述的，如果要用标准的数 
学术语来说，那么 AB 就称为 A 和 B 的（逻辑上的） 交集 • 同样， AUS 就称为 A 与 




1_并集，也可以称为和集.——译者注 
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B 之并.这些概念可以推广到多个事件 A ， B ， C ， D ， …的情况. 

定义 3 对每一组事件 A ， B ， C ， …， 可以把二个新事件定义 如下： 第一个事件是 
由属于全部给定的集合中的样本点的全体所组成的，我们用 AJBC …来表示它，并且 
称它为 A ， B ， C ， …之交 沁 同时实现).第二个事件是由至少属于给定的各集合中之一 
的样本点的全体所组成，我们用 AUBUCU …来表示，并称之为给定的各集合之并 
(至少有一个实现).在事件组 A ， B ， C …中，如果任何两个都没有公共点，即 AB =0， 
AC =0,*** , BC =0,*** , 则称这组事件是两两互斥的. 

我们还需要用一个记号来表达这样的 命题： “当 B 不发生时， A 不可能发 生”； 
或者说 “A 的发生蕴涵着 B 的发生 ”• 这意思 是说： A 的每个点都包含在 S 之中.不 
妨作一个直观的想像，譬如所有的母亲所成的集合是全体妇女的一 部分： 所有的母 

亲都是妇女，但并不是所有的妇女都是母亲. 

定义 4记号 ACLB 及 B 二) A 是等价的，这表示 A 的每一个点都包含在 B 之中， 
我们分别读为 “ A 蕴涵 B ” 及被 A 蕴涵”.如果上述蕴涵关系成立，我们就用 
B — A 来代替 BA '， 它表示事件 “ B 发生而 A 不发生 

事件 B — A 包含着所有在 B 中而不在 A 中的那些点.根据这个记号，我们可以 
写出 和 A — A =0. 

例 （a) 若 A 和 B 互不相容，则 A 的发生蕴涵着 B 不发生，反之亦然.因此， 
AB=0 也就是 AC〆 或 BCZA' 

( b ) 事件 A — AB 表示 A 发生而并不是 A 和 B 同时发生，因此 A — AJB 二 

( c ) 在 1.2 节例 （ g ) 中，事件 AB 意味着丈夫的年龄大于40岁而且还比他的妻 
子年龄大；意味着丈夫的年龄大于 4 0岁但不比他妻子大. AB 可以用由 j ： 轴， 
了= 40 和所构成的无穷的梯形区域来表示；事件可以用1 = 40和5=^所构 
成的三角形区域来表示，后者 ： y =： r 包含在区 域内； 事件 AC 表示丈夫和妻子的年龄 
都大于40岁，事件 AUC 表示夫妻之中至少有一个大于40岁， AUB 表示或者丈夫 
大于40岁，如若不然，至少比妻子大（用一般的语言来说，丈夫的年龄超过 min 
(40,妻子的年龄 )）. 

( d ) 在 1. 2节例 （ a ) 中，令 £■,. 表示第 f 个盒是空的事件 ( I = 1»2,3 ). 类似地， 
令 S ,， D ,， T , 分别表示第 i 个盒放1个、2个或3个球.于是 

0,02 = 0 . 注意 TiC：^ ，等等 . 事件 A UA UA 是由条件“至少有一个盒放2个 
球”所确定的. 

(e) 桥牌（参看 1.1 节脚注).令 A，B，C，D 分别表示北家、南家、东家、西家各 
自都至少有一张爱司的事件.显然，至少有一个玩牌者拿到一个爰司，所以这4个 


1. 两个或两个以上的事件的交的标准符号是 AHB 或者 AflBflC 等等‘为了某些特殊的目的，这种 
符号更好 一些， 因此，在第二卷里我们就采用这种 符号. 不过，为了排印的简便起见，现在我们仍 
用或 ABC 等符号 • 
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事件至少有一个事件一定发生，因此 AUBUCUD =0 是全样本空间.事件 ABCD 当 
且仅当每一个玩牌者都拿到一张爱司时才发生.事件“西家有4个爱司”的发生意 
味着事件 A ， B ， C 都不 发生； 即是都发生，或者 A ' B ' C " 发生. 

( f ) 在 1.2 节实例 （ g) 中，我们有 BCC ： A ; 即是说，“如果丈夫的年龄大于妻子 
( B ) 而且妻子的年龄大于40岁 （ C )， 则丈夫的年龄大于40岁 04)”. 事件 A — BC 如 
何用语言来描述？ ► 


1.5 离散样本空间 

最简单的样本空间，莫过于那些只含有限多个（譬如说〃个）点的空间.如果《 
很小（例如在扔几个硬币的场合），则样本空间就很容易具 体化. 但在玩桥牌的游戏 
中，要具体化牌的分配情况所构成的样本空间就比较复杂些.然而无论如何，我们 
还是可以这样来 设想； 把每个样本点描写在一个筹码上，于是这些筹码的全体，就 
代表了这个样本 空间. 事件 A (例如“北家有2张爱司”）就可以用筹码中某一部分 
来代表，而，可以用剩下来的那些筹码来代表.只有从这儿再前进一步，我们才能 
设想到具有无穷多个筹码的情况，或者具有无穷个点^，^，^，…的样本空间. 

例 U ) 让我们来扔一个硬币，一直扔到它出现正面为止.于是，这个样本空间 
的点就是（以 H 表正面， T 表反面，以下常用这两个记号，不再注岀）： £ i = H , E 2 
= TH , E 3 = TTH ,£ 4 = TTTH , 等等.至于 H 永不发生的可能性可以有两种不同的 
考虑方式，或者认为它是可以设想的，或者认为那是不可设 想的. 如果我们认为那 
是可以设想的，那么，这个可能性就用 点^来 代表. 

( b ) 假定有三个人 a ， b , c 在做游戏，比如说下棋.其规则 如下： 开始时 a 和 b 对 
下，而 c 在局外.谁输了谁就被 c 代替，因而在第二次游戏中贏家和 c 对下，而输家 
在局外.用这种方式一直到有一个人接连赢两次而成为贏家时为止.为了简单起见， 
每一次游戏中不分胜负的可能性不加考虑 • 我们的游戏的可能结果可以由下面的方 

案来表: 

(* ) aa ， acc ， acbb , acbaa , acbacc ， acbacbb , acbacbaa ，••• 

bb ， bcc ， bcaa ， bcabb ， bcabcc ， bcabcaa ， bcabcabb ，… • 

此外，可以假想没有一个人接连贏两次，这意味着游戏按下述方式之一无穷地进行 
下去： 

(* * ) acbacbacbacb …， bcabcabcabca …. 

我们这个理想的“ 试验” 的样本空间由（*)和（* *) 所确定，而且是无 穷的. 显然， 
其样本点可以排成一个简单的序列，在（* *) 中的两个点排在最前面，接着把 （*) 
中的点按阳汕心^❿…的次序继续排列下去.（这个例子将要在习题5和6,第 

5. 2节例 （ a ) ;第15章习题5中继续讨论 •） ► 

定义如果一个样本空间只包含有限多个点，或者虽有无穷多个点，而这些点 
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可以排成一个简单的序列，…的话，我们就说这个样本空间是离散的. 

并不是每一个样本空间都是离散的.根据熟知的定理[康托 （ G . Cantor ) 定 
理]，由一切正数所组成的样本空间就不是离散的.这里，让我们把力学上大家所熟 
悉的特性对比着来 叙述： 在力学上，首先考虑的往往是离散的质点，而每个个体点 
的质量都是有限的.这个概念与质量连续分布的概念有显著区别，因为后者 是说： 
每个个体点都是没有质量的.在第一种情况下，很容易的就可以得到体系的总质量， 
只要把个体的质量加起来即可；而在第二种情况下，总质量需要按质量的分布密度 
进行积分来计算.类似地，在离散的样本空间中，也只要用加法就可以算出事件的 
概率，而在其他样本空间中，就要用到积分.对于这两种情况，除了运算时需要用 
到不同工具之外，本质上并没有什么 区别. 为了从反映现实的概率来考虑，而不为 
技巧上的困难所限制，我们只讨论离散的样本空间.以后会看到，即使只讨论这种 
特殊的情况，也会得出很多有趣味而又重要的结果. 

在这本书里，我们只考虑离散的样本空间. 

1.6 离散样本空间中的概率预备知识 

各种事件的概率都是一些数值，这些数值的性质犹如几何学中的距离、力学中 
的质量.概率论假定概率的数值是给定的，但是关于它们的实在数值等于什么，怎 
样测量出来，却用不着作任何的假定.一些重要的应用具有定性的性质，与具体数 
值无关，只有很少的情况才用到概率的数值 • 当真正需要知道概率的数值时，那么 
所用的方法和测量距离的方法一样是变化多端的（在测量距离时，木匠师傅、测量 
员、飞行员和天文工作者所用的方法很少有相似之处).例如，本书中我们要考虑扩 
散常数，它是概率论中的一个概念.要想得到扩散常数，那就需要考虑与之联系的 
物理方法或其他理论方法，直接的测定是不可能的.相反，为制作死亡率表而需要 
的概率数值，却是得自比较原始的观测资料.在很多应用方面，为了确定概率，或 
者把理论与观测作比较，往往要用到一些巧妙的统计方法，而这些方法却又建立在 
概率论的精深理 论上. 换句话说，概率的直观意义是清楚了，但是只有当理论向前 
推进了，才能够看到它是怎样被应用 • 光靠着给概率下这个或那个“定义”，对于实 
践来说是远远不够的. 

扔一个“均匀的”硬币时，我们毫不犹豫地认为正面和反面的概率都是1/2.这 
也就是说，如果扔硬币 ”次， 全部 2" 个可能结果都有相同的概率.从理论的观点来 
看，这无非是一个约定.许多人认为这个约定是不可避免的，而且是惟一的可能 • 
另一方面，曾经有一批哲学家和统计学家不满足于这个约定，主张从相矛盾的假设 
出发（自然界的齐一性或不齐一性） •■也 有人主张，1/2这个概率是从经验得来的. 
然而，每当使用精深的统计方法来检验实际扔硬币的结果的时候，结论总归 是：正 
面和反面的出现不是等概率的.尽管“绝对均勻的”硬币并不存在，我们还是坚持 
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有一个“理想”的硬币.这不单单是为了它的逻辑简单性，主要是因为它是有用的 
而且是能用的.一则，在许多应用方面，这个模型已经把现实描写得足够准确 的了; 
更重要的却是这样一个经验事实， 即是： 每当结论与我们的模型偏离时，总伴随着， 
例如，硬币重心的位置不正的现象.这样一来，就算理想模型永远不会绝对准确地 


实现，它倒反而是非常有用的了，因为对它的偏离可以提醒我们去发掘潜伏着的不 
正常现象.举例来说，在现代统计的质量控制法[创始人是休哈特 （ Shewhart )] 中， 


我们就使用理想化的概率模型，以便在对于模型有显著偏离的时候，就去査究“可 
推溯的原因”，从而及早地排除早期的机器故障和生产过程中的不正常现象. 

类似的讨论可以应用到其他的场合.例如，打桥牌时一手牌的可能的种数大约 
在10 3 °左右.通常，我们约定把它们作为等概率的.要想对这个约定作一次验证，那 
么必须进行 10 3 u 次以上的试验^■相当于一个人日夜不停地每秒钟玩一局，大约要玩 
一百亿亿年(10 14 )的局数.虽然如此，这个假定的结果还是可以用实验来验证的 • 
譬如说，通过观察手里拿到2个“爱司”的频率来验证它.观察的结 果是： 只需把 
牌洗得特别匀，理想化的模型确是将经验描写得大致不差.更重要 的是： 当理想化 
的模型发生问题时，那就有可能使我们进而去发现矛盾存在的“可以推溯的原因”， 
例如，需要改善洗牌的方式.这些都是不怎么重要的例子，但它们还是显示了假设 


模型的用途.更有趣味的情形，在以后还会 谈到. 

例 （ a ) 可辨别的球. 在 1.2 节例 （ a ) 中，很自然地假定所有的样本点都 是等可 
能的，即是每一个样本点都具有概率 1/27. 我们可以从这 个定义 出发来研究其 结果. 
我们的模型是否和实际实验很相合将要依赖所考虑的现象的类型.在某些应用中， 
从物理意义出发，可以作“等概性”的假设；但是，在另外一些应用中，它之所以 
被引进只是作为一般情形的 一个最 简单的模型，甚至有时很明显地看出它只是一个 
粗糙的第一步的近似，我们仍然作这种假设.（例如，考虑 1.2 节例 （ b ， l ) 生日， 


( b ,7) 电梯问题，或者 （ b ， l ]) 优惠券收集 .） 

( b ) 不可辨别的 球:波 司-爱因斯坦统计. 现在，我们回过来考虑3个不可辨别的 
球分布于3个盒中的 1. 2节例 （ c ). 球之不能辨别是不影响实际的物理试验的.从物 
理上看，它们仍然有27种不同的可能，虽然其中只有10种可以辨别.这种考虑使我 
们对表 1- 2中的样本点可以按照下述办法 赋概： 


点数: 

概率: 
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只有当这个结论在 1.2 节例 （ b ) 中所抄录的许多应用中是正确的时候，这种赋 
概法才是合理的.在很长一段时期内，我们的结论都被接受下来，没有出现什么问 
题，而且把它作为统计力学中的 r 个球分 布于” 个 盒中的 麦克斯韦-玻耳兹曼统计的 
推导基础.但是，当波司和爱因斯坦证明某些质点遵从波司-爱因斯坦统计时（详细 
情形，参见第 2. 5节），才引起人们的 惊异. 在我们的情形下， w=r = 3， 波司-爱因 
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斯坦给这10个样本点中的每一个都赋以概率 1/10. 

这个例子将要说明，在相同的样本空间中可以有不同的赋概法，并且还将说明 
理论和实验之间的错综复杂性.特别是，它告诉我们不要过分地信赖前面的结论， 
而要准备接受新的非先验的方案. 

( c ) 扔硬币.等概性的假设常常需要真正的实验的记录来说明.在实践中，每一 
个硬币总不能绝对均匀，但是，可以设计一个物理实验，使其与理想的扔硬币的模 
型非常近似.为了给出一个期望的波动概念，我们给出一个对应于10 000次扔硬币 
的假想的试验 1 .表 1-3 包含了每100次试验岀现正面的次数，而每100次试验对应 
于把一个硬币扔100次.其总数为4979_看了这些数字以后，读者很可能会产生一些 
含糊的 感觉： 这说明什么呢？为了判断对什么范围来说能使经验事实与抽象模型一 


致，需要一些更高深的理论.（在第 3. 6节我们将要回过头来考虑这件事情 .） 

表 1-3 扔硬币的统计 


试验次数 


正 


囱 



次 


数 


总数 

0—1 000 

54 

46 

53 

55 

46 

54 

41 

48 

51 

53 

501 

一 2 000 

48 

46 

40 

53 

49 

49 

48 

54 

53 

45 

485 

— 3 000 

43 

52 

58 

51 

51 

50 

52 

50 

53 

49 ； 

509 

一 4 000 

58 

60 

54 

55 

50 

48 

47 

57 

52 

55 

536 

一 5 000 

48 

51 

51 

49 

44 

52 

50 

46 

53 

41 

485 

一 6 000 

49 

50 

45 

52 

52 

48 

47 

47 

47 

51 

488 

— 7 000 

45 

47 

41 

51 

49 

59 

50 

55 

53 

50 

500 

— 8 000 

53 

52 

46 

52 

44 

51 

48 

51 

46 

54 

497 

一 9 000 

45 

47 

46 

52 

47 

48 

59 

57 

45 

48 

494 

—10 ⑻0 

47 

41 

51 

48 

59 

51 

52 

55 

39 

41 

484 


1. 7基本定义和规则 

基本的约定 给定一个含有样本点…的离散样本空间多，我们假定对每 
一个点 g 都赋以一个数，这个数称为6的概率，记以这些数都是非负的而 
且满足 

十… =1. (7. 1) 

注意我们并不排除某个点的概率为0的可能性，这种约定看起来是人为的但 
却是必需的，因其能避免一些复 杂性. 在离散的样本空间中，零概率在实际中解释 


1. 这个表实际记录的是偶数出现的频率，引自 RAND 公司的 （( 具有100 000正态离差的一百万个随机 
数 》 （Free Press 出 版）. 
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为不可能，因此，把已知其概率为0的样本点从样本空间中除去是无妨的.然而， 
事前往往不知道其概率的数值，因此，判断一个样点的概率是否是正的需要深刻地 
推理. 

定义 任何一个事件 A 的概率 P ( A ) 是 A 中所包含的样本点的概率的总和. 

基本方程 （7.1) 说明，全样本空间的概率为1，即 = 1 .由此推出，对任何 
一个事件 A ，都有 

0< P { A }<1. (7.2) 

现在我们考虑两个任意的事件 A 和 A 2 . 为了计算或者 A ! 发生、 或者息 发生、 
或者两个都发生的概率我们把或者属于 A ,， 或者属于八的样本点的 

概率加起来，不过每一个样本点只算一次 * 因此，我们有 

P { A , [ JA 2 }^ P { A l }+ P { A 2 }. (7.3) 

如果£：是一个既属于 A : 又 属于浅 的样本点，则在右边出现两次，而在左 
边只出现一次 * 因此，右边比左边大从而我们有下述简单却重要的定理： 
定理 对于任何两个事件 Ai 和 A ” 或义 1 发生，或八 2 发生，或 A " A 2 都发生 
的概率由 

P { A , U A 2 } - PiA ,} + P { A 2 }- P { A l A 2 }. (7.4) 

所给出.如果 AiAz ^ O ， 也就是说 Ai 和 A 2 是互斥的，则 （7.4) 化为 

PiAlJA ^^ PiA ^+ PiA ^. (7.5) 

例把一个硬币扔两次.我们把四个点 hh ， ht ， th ， tt 作为样本空间，每一 
点赋以概率 1/4. % Ai * A 2 分别表示事件“第一次出现正面”和“第二次出现正 
面”. 于是 A , 包含了 HH 和 HT ， A 2 包含了 TH 和 HH . 因此 A UA 2 包含了三个点 
HH ， HT 和 TH ， 而 AA 只包含一个点 HH . 因此 

PA UA 2 }= ++ 士一 += 寻 . ► 

„个事件中至少有一个发生的概率 — 可以用类似 （7.4) 的公 

式算出，这个计算将在第 4. 1节 介绍. 这里我们只注意 一点： 不等式 （7.3) 显然对 
一般情形都成立.因此， 对任意多个事件 ApA 2 , …不等式 

/MA UA 2 U ..•}<?{▲ }+ P { A 2 }+ … （7.6) 

成立.特别地，当八^、，…互斥时，我们有 

P { A y UA 2 U …卜 + (7. 7) 

有时称 （7.6) 为布尔 （ Boole ) 不等式. 

我们首先考虑一个简单的特殊 情形： 样本空间只有有限个样本点，比如说有 N 
个， tfn •且每一个样本点的概率都是 1/ K 在这种情形下，任何一个事件 A 的概率等 
于其中的样本点的个数除以 / V . 在早期文献中，样本空间中的点叫作“情形 ”， A 
中的点叫作“有利情形”（有利于 A ). 如果全部的样本点的概率都是一样，则事件 
A 的概率等于有利情形除以一切可能情形.不幸的是，这种叙述被滥用来作为概率 




的“定 义”. 人们常常以为每一个有限的样本空间中的全部样本点的概率都是一样 
的.其实，并不如此.例如扔一个不均勻的硬币，样本空间只包含两个点，正面和 
反面，但是它们可以具有任意的概率/>和9,其中—个新生儿可能是男 
孩也可能是女孩，但是实际上它们的概率可以不一样.第6节例 （ b ) 给出了一个 
进一步的反例.全部样本点的概率都一样的样本空间的用处几乎全部局限于研究机 
会游戏和组合分析. 

1. 8 习 题 

1. 在1，2,3,4,5五个数字中先任意抽取一个，然后在剩下的四个中再抽取一个.假定全部 
20个可能的抽取结果都具有相同的概率，试求有一个奇数在如下情况的概率 .（ a ) 第一 
次被抽出； （ b ) 在第二次被抽出； （ c ) 两次都被抽到. 

2. 在1,2节例 （ a ) 的样本空间中，给全部27个点以相同的概率.利用 1.4 节例 （ d ) 的符 

号，对事件4=5^4 = S 2 来验证公式 （7.4). 包含多少样本点？ 

3. 考虑数字1，2,3,4的24种可能的排列，并且对每一个排列都赋以概率__令 A , 为数字/ 

出现 在第： 个位置（其中/=1，2,3,4)的事件.验证公式 （7.4). 

4. 扔一枚硬币，直到它连续地出现两次相同的结果为止_设扔〃次的每一个可能结果都具 
有相同的概率1/2^\试描述这个样本空间，并求出下列事件的概率： （ a ) 实验在扔第6 
次之前 结束； （ b ) 偶数次结束. 

5 . 在 1.5 节例 （ b ) 的样本空间中，我们对 （*) 中恰巧包含々个字母的样本点赋以概率1/2\ 
(换句话说， aa 和 bb 具有概率1/4, acb 具有概率1/8,等等 •）（ a ) 证明 （ O 中的样本点 
的概率之和为1， （* *) 中之两个样本点的概率为 a ( b ) 证明 a 胜的概率为 5/14. b 胜 
的概率也是5/14，而 c 胜的概率为 2/7. ( c ) 在第々局或在第々局前无法判断谁胜谁负的 
概率为 \/2 k ~\ 

6 . 变更 1.5 节例 （ b )， 计算每一局中不分胜负的可能性，给出适当的样本空间_你将如何 
定义概率？ 

7. 在习题3中，证明 AiAsAsCA * 和 AAWsCAV 

8* 利用 1.4 节中例 （ d ) 的符号证明 （ a ) SiS 2 D 3 =0； ( b ) SiD 2 CE 3 ; ( c ) E 3 — D 2 Si ] 

s 2 a , 

9 . 掷两颗 骰子. 令 A 为点数的和是奇数的事件， B 为至少出现一个么点的事件.试描述事 

如果假定全部36个样本点都具有相同的概率，试求 

的概率. 

10. 在例1_2节例 （ g ) 中，试叙述下列事件的意义 ： （ a ) ABC ； ( b ) A - AB ； ( c ) AB ； C . 

11 . 在例 1.2 节例 （ g ) 中，试验证 ACCB . 

12. 在桥牌游戏中，令凡 U = l ，2,3,4) 为北家至少有 々个 爱司的事件.以分别 

表示南、东、西各家至少有6个爱司.在事件 （ a ) Wi ( b ) N 2 S 2 ； ( c ) N / S / E /; 

( d ) w 2 - w 3 ; ( e ) ( f ) N3W1 ； ( g ) ( iV 2 US 2 )£： 2 中，试问西家有几个爱司? 
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13 - 在上题中，试验证 （ a ) S 3 CS 2; ( b ) S ^ 2 =0； ( c ) ^ S . E . W ^ O ； ( d ) N 2 S 2 ( ZW \； 
( e ) ( N 2 US 2 ) W ,=0； ( f ) W ^ N / S / E /. 

14 . 试验证下列关系式 \ 

( a ) ( AUB )’= A ’ B ’ ； ( b ) ( AUB )- B = A - AB = AB / ； 

( c ) AA = AUA = A ； ( d ) ( A - AB ) UB = AU ^； 

( e ) ( A \ JB )- AB = AB / [ JA / B ； ( f ) 

( g ) ( AUB ) C = ACUBC . 

15 . 化简： 

( a ) ( AUB )( AUB / ); ( b ) ( AUB )( A / UB )( AUB / ); ( c ) ( A [ JB )( B \ JC ). 

16 . 试述下列关系中哪些是正确的，哪些是错 误的： 

( a ) ( A [ jB )- C = A \ J ( B - C )； ( b ) ABC ^ AB ( C [ JB )； 

( c ) A \ JB \ JC - A \ J ( B - AB ) U ( C ~ AC ) ； ( d ) 

( e ) ( ABUBCUCA )] ABC ; ( f ) ( AB [ jBC [ JCA )( Z ( A [ JB [ JC )； 

( g ) ( A [ jB )- A = B ； ( h ) AB ^ CCZAUB ； 

( i ) ( AUBUCY ^ A ' B ' C '； ( j ) ( AUB ) / C = A / CUB / C ； 

( k ) ( AUB ) / C = A / B / C ； (1) ( A[jByC = C - C ( A [ JB ). 

17. 令 A ， B ， C 为任意三个事件.试用 A ， iJ ， C 来表达下列 事件： 

( a ) 只有 A 发生； （ b ) A 和 B 都发生而 C 不 发生； 

( c ) 所有这三个事件都 发生； （ d ) A ， B ， C 中至少有一个事件 发生； 

( e ) 至少有两个事件 发生； （ f ) 恰有一个事件 发生； 

( g ) 恰有两个事件发生； _ ( h ) 没有一个事件 发生； 

( i ) 不多于两个事件发生， 

18. 任意两个事件之并可表示成两个互不相容的事件之和，例 AUB = AU ( S _ AB ). 
试用类似的方式表达三个事件 A ， B ， C 之并. 

19 . 利用习题18的结果证明 

r { AUBUC } = P { A }+ P { B }+ P { C }- P { AB }- P { AC }- P { BC }+ P { ABC }. 

[这是第4章 （1.5) 的特殊情形 •] 


L 注意， （ AUB / 表示 AUB 的补集，与， UB ' 的意义不同.同样， 04 S / 与的意义亦不相同. 
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这一章的目的在于解释一些组合分析的基本概念，并发展相应的概率背景.最 
后一部分描述一些简单的分析技巧.本书不需要太多的组合分析.对此没有特别兴 
趣的读者可以尽快地读第5章，那儿将再次回到第1章的理论问题主线.为了以后诸 
章相关专题的需要，最好阅读本章的有关个别的节. 

在简单的机会游戏、抽样过程、占位及序次等等问题里面，我们通常遇到的情 
况是有限样本空间，各个样本点的概率相等.这时，要想计算一个事件 A 的概率， 
只要把 A 中的点（有利情况）的个数，除以样本点（可能情况）的总数即可.如果 
有系统地使用几条法则，就可以使这计算更容易一些.现在我们就来把这些法则加 
以概括.始终遵循着几个标准的工具，可以导致思维的简化和脑力的节省.我们将 
要遵循这样的进程，而不是在一个一个的特例 1 上考究最简洁的计算方法. 

2. 1预备知识 

对子 给定 m 个元素 a 】 ，<2 2 ，… ， a „, 及个元素仏，6 2 ，…， 6,,. 从以上两组的每组 
中取出一个元素配成对子 icij ， b k ) ， 一共能配成 m ?? 个对子. 

证像乘法表那样，把对子排成讲行《列的矩形阵，于是 ia } , b k ) 恰巧处在第 j 
行和第6列的交点上.因此，每个对子恰好岀现一次，从而需证之结论乃属显然. 

► 

例 U ) 桥牌（参阅第 1.1 节的脚注 1). 把4种花色和13种面值当作两组元素来 
看.每张牌都由它的花色和面值决定.因此，这样的组合共有4 • 13 = 52种，所以就 
有52张牌. 

( b ) “七用灯广告上叫作“七用灯”的，是这样一 种灯： 它有3个普通的灯 
泡，外加一个操纵发光的装置，控制每个灯泡3个不同程度的亮度，但也可以不开 
动此装置.这4种可能性，每个都可以和0个、1个、2个或3个灯泡结合起来.所 
以一共有16个组合，其中之一即（0,0)使得灯泡一个也 不亮. 剩下还有15种操作 
方式（不是7种). ► 

多元组 给定％个元素 〜 ， a 2 …， ;« 2 个元素&，6 2 ，…，，依此类推到〜个 
元素 A ，: r 2 ，…， x ,,. 从以上各组的每组 中取一 个元素来配成多元组 〈气 ， b h ，…， JCj 、， 


1. 有兴趣的读者可以在经典的教科书 U ] 里，找到很多初等组合分析的资料.还可参阅文献 [5], 
其中包含700个附有完全解答的问题. 
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一共可以配成 n x • n z . n r 个多元组. 

证若多元组的问题归为对子的问题，因而我们的命题成立.若 r =3, 
可取对子 U ,，6 ; ) 作为一类新的元素，则有个对子和《 3 个元素 Q ， 每个3元组 
U ,.， b ^ c ,) 本身可以看作由 U t ， b ) 和元素 Q 所组成的一个对子，因此3元组的个 
数共有个.用归纳法可以证明，这个结论对每个 r 都 成立. ► 

上述定理可重 述为： 依次序有 r 步选择，第 々步有 I 种选择方式，则可得到 

«1 • n 2 . ~种不同的结果.实际上，许多应用都是基于该表达方式的. 

例 （ c ) 多元分组.假定把人按其性别、婚否和职业进行分组，各种状况就相当 
于元素.如果社会上只有17种职业，则总共可以分成 2-2. 17 = 68 组. 

( d ) 在一个农业实验中，要试验三种不同的处理手段（如料肥、喷雾剂、温度) • 
如果这些手段分别有 n ，〜和 n 种实施的水平或浓度，则实施的方案共有 nr 2 r 3 种. 

( e ) “把球置入盒中”归结为对每一个球选取一个盒.对于 r 个球，我们就有 r 
次独立的选取，因此 r 个球置入"个盒中有 Y 种不同的方法.回忆第1章 1.2 节例 
( b ) 我们 得知： 有很多实验抽象地看和“球置入盒”是等 价的. 例如，把骰子的各 
个面都看作“盒子”，依前面的命题 断言： 把一个骰子掷 r 次共有6〃 个可能的结果， 
其中有 5' •个结果满足“么点从未出现”的条件.假定全部可能的结果都是等可能的， 

“因而 r 次抛掷中不出现”幺点的概率为我们可能会这样天真地 期望： 掷6次 

骰子，么点一定出现，其实不然，这一事件的概率仅仅是 l — df ， 或者小于 2 /3 
[参见 2. 3节例 （ b )]. 

(0 挂旗 [s] . —个较深的例子 [6] . 考虑有 r 面不同颜色的旗帜挂在排成一行的 n 
根旗杆上，共有多少种挂法？当然，我们忽略旗帜所在的绝对位置并且不限制一根 
旗杆所能挂的旗帜的面数.我们仅仅假定旗帜挂在每一根旗杆上都是按确定的次序 

从顶端到底部. 

挂旗可以设计成这些单个的旗帆接连做 r 次决定.对于第1面旗帜来说，我们在 
这 ”根旗 杆中任意选取一根.这一根旗杆挂上一面旗帆后，它就分成了两节，于是 
第2面旗帜选择悬挂位置时就有 《+1 种可能.类似地，第3面旗帜选择悬挂位置时 
就有; z +2 种可能，依此类推，……，等等，这 r 面旗帜 就有： 《( rz + l )(«+2) … 

1) 种不同的挂法. ► 

2. 2有序样本 

考虑 n 个元素〜，心，…所组成的集合或总体，任何 r 个元素\ ，气 ，…，气的 

有序排列，就称为从总体中取出的，大小为「的一个有序样本.为了形象化起见，我 
们可以设想，元素是逐个地抽取的 • 于是就有两种可能的 手续. 第1种是有 放回的 
抽样.在这里，每个元素的抽取都是在整个总体中进行的，所以同样的元素可以被 
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抽到一次以上.因此在样本的排列中容许有重复的 元素； 第2 种是无放回的抽样. 
在此，某个元素一旦被抽取，即被从总体中除去，所以样本的排列中，不会有重复. 
显然，在这种情况，样本的大小不能超过总体的大小 

在有放回的抽样里，样本的 r 个元素的每一个都可以有《种抽取的方式，所以可 
能的样本数为心这一点从刚才的定理可知，只要让定理中的 « 即可.在 
无放回的抽样里，样本的第1个元素可以有《种抽取方式，而第2个则只有 (7 Z -1) 
种，第3个只有 — 2) 种，依此类推.根据上述定理可知，无放回抽样的样本总数 
是 n («—1) …(〃一 r +1). 这个乘积经常出现，为了方便起见，引进记号 1 

( n ) r = n{n 一 l)***(w 一 r + l ). (2. 1) 

显然，当时， oo , o . 于是我们有下面的 

定理从77个元素所成的总体中，取大小为 r 的抽样.如果抽样是有放回的，则 
有《^•个不同的 样本； 如果抽样是无放回的，则有个不同的样本. 

我们注意 r = 〃的 特别情形.在无放回的抽样中，一个大小为 n 的样本包含了其总 
体的全部元素，它构成了其全部元素的一个排列.因此， 〃个元 素山，…，〜有 = 
n • ( n _ l ) …2 • 1种不同的方式排成次序.我们用符号《!来代替是一个常用的 
符号.因此，我们有 

系 n 个元素能排成的不同次序的数目为 

n ! = n(w—1) …2 • 1. (2. 2) 

例 （ a )3 个人 A ， B 和 C 是从人这个总体中抽出来的一个有序样本，他们的生 
日是日历这一总体中的一个样本，他们的年龄是3个数这一总体的一个样本. 

( b ) 如果用“10个字母的词”代表一个由10个字母构造的序列（也许没有意义）， 
那么这个词就是由26个字母构成的总体中的一个样本.由于允许字母重复出现，就有 
26 1 D 个这样的词.另一方面，在铅字排版印刷厂里，字母不仅在概念上而且在实物上存 
在于打印形式之中.为简单计，假定每个字母恰备有1 000枚可供 使用. 印刷者每排 
印一个词，就需要选择10枚，此处是不允许重复的. 一 个词有 （26 000：^。种不同的排 
法.这个数与26 000 1 。差不多，它超过了 10 44 . 

( c ) 史密斯夫妇是从人的总体里抽出的大小为2的一个样本，也是从所有夫妇所 
构成的总体抽出的大小为1的一个样本.这个例子 说明： 样本的大小只有相对于给 
定的总体来说才能 确定. 又如把一个硬币扔 r 次，可看作从字母 H 和 T 所构成的总 
体中抽出的大小为 r •的样本.也可看作由 H 和 T (共有 r 个）组成的排列，也就是样 
本空间（对应于扔硬币 r 次的实验的那个空间）的一个样 本点. 

( d ) 关于实际中的排序与 抽样.当我们用抽样的方法来研究人群中的抽烟的习惯 
时，人们的直觉是，次序在样本中是不相干的，因而想像样本是无序的.但是，只 
有基于某些概率假设，从样本才有可能得出 结论. 为此，一个适当的获取样本的理 


1. 记号 (《) r 并不是标准的，甚至 n 不是整数时，本书也一贯地用它. 
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想的实验模型是必要的.因为这种实验显然包含了选择是彼此能分辨的，即选择是 
按某种方式标号的.为了理论上的需要，最简单的是用整数来标号，这就等于给样 
本以次序.其他方法或许更好，但是，连“星期二被琼斯第三个面试的人”都产生 
标号.换言之，即使序在样本中最终被忽略掉，理想的实验仍然包含了有序样本， 
并且我们将会看到这会影响到适当赋概. ► 

从大小为 n 的总体中依次抽取/ •个 元素，实验的可能结果就是这些大小为 r 的样 
本.它们的总数是/或 ( nX ， 随抽取的方式是否有放回而定.无论哪-种情况，我 
们的理想实验是用样本空间来描述的，其中每一个个别的点都代表大小为「的一个 
样本. 

到此为止，我们还没有谈到过联系着这些样本的概率.我们通常赋予各个样本以 
相等的概率，这样的样本就叫作随机样本.“随机”这个词在其一般的意义上还没有定 
义，但是用在抽样或选择的场合时，它倒是有着特定的意义的.无论何时，只要我们 
谈到固定 大小为 r 的随机样本时，形容词“随机的”意味着所有可能的样本都具有相 
同的概率. 在有放回抽样中，这个相同的概率就是而在无放回抽样中，则为 
l /(«) r , ri 表示取样本的那个总体的大小.如果 rt 大而 r 相对地小，则比值 ( rOr / n 1 "接近 
于 1. 这就说明了这样的一个 事实： 如果总体大而样本相对地小，有无放回的二种抽 
样方式的区別是可以忽略的[参看 11. 1»11.2和第 6. 10节习题 35]. 

上面已经引进了应用的术语“随机的”，但是尚未说明我们的随机抽样的模型对 
于现实世界的适用性.扔硬币、掷骰子和类似的一些游戏，都可以解释为有放回的 
随机抽样的实验，并且我们所赋给的概率很接近于在长期持续实验下所观察到的频 
率，即使完全均勻的硬币和骰子并不存在.从一副洗得很好（比平常洗得还要好) 
的纸牌中，连续地进行抽取，就是无放回抽样的一个典型例子.在人口的抽样中， 
统计学家往往遇到无法预料的巨大困难 • 经验表明，在这种场合，甚至连随机性的 
粗略的形象都是不容易获得的. 

练习 在无放回抽样中，总体中任何一个固定的元素包含在大小为”的随机样本 


中的概率为 



在有放回的抽样中，其对应的概率为 

1一 . 


2. 3例 子 

我们考虑从一个包含”个元素 A ，… ，心 的总体中抽出一个大小为 r 的有放回的 

随机样本. 我们感兴趣的是“样本 （％，."，气） 中没有重复元素”的事件的概率， 
也就是，这种样本可以从无放回的抽样所得到.前面的定理证 明了： 不同的 样本的 
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总数是 < 个，其中有 (《). 个满足上述条件.假定各种排列都是等可能的，则我们断 
言： 在我们的样本中没有重复的概率为 

(nh^n(n~l^<n r r±l)^ ( 3 . 1 ) 

n n 

下面关于这个公式的具体解释将显示出这个公式的广泛应用. 

( a ) 随机抽样数. 令总体由数字0，1，…，9所构成.每次连续抽5个数字构成的 
排列是一个大小为 r =5 的样本，我们假定每一种排列的概率都是 KT 5 . 由 （3.1) 5 
个连续随机数字都不相同的概率为 p =(10) 3 10- 5 =0. 3024. 

根据我们直观的想法，在小数位很多的大的数学表格里，最末5位数字具有很 
大的随机性（在普通的对数表和其他一些表里，表差近似地为常数，因此最末一位 
小数是有规则地变动的).作为一个实验，选取有16位数的表，并把表中所列的那 
些最末的5位数字都不相同的数枚举 出来. 在每组有100个数码的最初12个组中， 
具有5位不同的数字的数码的个数变动如下： 30,27,30,34,26,32,37,36,26,31，36, 

32. 小样本理论证明，这样起伏的量会很好地落在期望限度以内.这里的平均频率 
为 0.3142, 与理论上的概率 0.3024 是十分近似的[参阅第 7. 3节中例 （ f )]. 

下面，我们来考虑数 718 28….把 最初的 800 位小数 [7][8] 分成 160 段，每段 
有 5 个 数字. 并以每组 10 段排成 16 组.在这 16 组中，所有 5 个数字都不相同的列 
举 如下： 

3，1，3,4,4,1，4,4,4,2,3，1，5,4,6,3. 

频率的波动应该在 0.3024 周围.据小样本拟合理论，上下波动的振幅并不比所期望 
的大.在这160段里，我们所考虑的事件的整个频率为 ^ = 0.325. 它很合理地近 
似于/> =0. 3024. 

( b ) 如果? 7 个球随机地置入 《 个盒中，每一个盒都放球的概率为 W / V . 这个概 
率非常小：对》==7来说，它为 0.006 12 …. 这就意味着 如果在一个城市中每一周发 
生 7 次意外的事件，则（假定各种分布都是等可能的）实际上每一周都包含有这样 
一些天，它发生两件或两件以上的意外事件.平均来说，大约165周才有一周每一 
天都发生一件意外的事件. 这个例子说明了随机性的 一个意 料不到的性质 （7 个球置 
人7个盒中的全部可能情形在第 5 节表1中都列出了，两个或两个以上的盒空着的概 
率大约为0_ 87). 当《二6时，概率《! rT ” 等于 0.015 43…这说明把一个均匀骰子掷6 
次，要得到每一次出现的点数都不相同是如何得不容易.[一个给定的点不岀现的概 

率大约为+，参见 2.1 节例 （ e)l 

( c ) 电梯.在开始时载有7位乘客的一架电梯，在10层的楼房的每一层上都 

停留，试问没有2位乘客在同一层楼离开电梯的概率 P 为何？为了使问题确定起见， 

假定乘客离开电梯的各种安排有同等的概率（这只是大概粗略的近似) • 于是 

/>=10— 7 (10) 7 = (10 • 9 • 8 • 7 • 6 . 5 • 4)10— 7 =0. 060 48. 
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假使这事件一旦发生，我们就认为发生这件事是奇特的.反复观察，发生的可能性 
* 1 000次中只出现一次（参见 2. 10节习题43的答案). 

' ( d ) 生日.任意 r 个人的生日可以看成为从一年的全部日子所构成的总体中抽取 

的大小为 r 的一个样本.虽然每年的时间不是等长的，而且在整个一年中，人的出生 
率也不是固定不变的.但是，作为第一步近似，我们还是可以认为随机地抽取人和 
随机地抽取生日是一 样的. 其次，为了简单起见，每年就以365日来考虑. 

有了这种约定利用（3.1)，我们算 出所有 r 乎生日都不相同的概率/ >为 [9] 

pliH 卜 -)卜盖) 卜 -Hi- 窗). ㈣ 

其结果是令人吃 惊的. 对 个人 来说， p <\, 也就是说， 对 23 个人来说，至少 


有两人同一天生日的概率超过 " I ". 

公式 （3.2) 看来十分繁琐，但是可以容易地推出近似表 达式. 如果 r 较小，所 
有的交叉乘积因子都可以忽略，于是有了第一步的近似 公式： 


p — 


(r — 1) 

365 


1 一 


r(y — 1) 

730 — 


(3.3) 


例如当 r =10 时，正确的数值为/ >=0.883“ •，而 （3.3) 给出的近似值为 0. 877. 
对于较大的 r 可以用对数法求得很好的近似值 • 只要 x 为正且很小，有 


log (1— x ) 义 



于是由 （3.2) 可得 


log 


l + 2+”. + ( r —1) 
365 


r(r~1) 

730 — 


(3.4) 


对于 r = 30， 这个公式给出的近似值为0_ 3037，而正确值为 > = 0.294. 对于 r <40, 
(3.4) 的误差小于 0.08 (在第7节中继续讨论此问题，也可参见 2. 10节问题44的答 

案） • 


2. 4子总体和分划 


和以前一样，我们用大小为〃的总体来表示一个由〃个元素构成的不分次序的集 
合.所谓两个总体不一样，当且仅当一个总体有一个元素不属于另一个总体 • 

从一个大小为 n 的总体里选取 r 个元素就构成了一个大小为 r 的子总体.对这子总体 
中的元素随意编号将其转化为大小为 r 的有序样本，每个这样的样本都可以用这种方式 
获得. 既然 r 个元素有 r ! 种不同的标号方式，由此可得样本的个数是大小为 r 的子总体 
个数的〃!倍.所以大小为 r 的子总体的个数为(” X / r !. 上式称为二项式 系数. 记为 



(4.1) 


因此，我们证明了 




2.4 子总 f 和分姻 


定理〗一个包含”个元素的总体可以产生 f = j 个不同的子总体 


换句话说，从 n 个元素中可以用种不同的方法选出包含 r 个元素的子总体， 

因为从《个元素的总体中选取 r 个元素和留下 《 — r 个是等价的，因此，对 
显然有 


CH 二 ). ㈣ 

为了直接证明方程（4.2)，我们只须 注意： 把二项系数 （4.1) 换成下面的写法 

( r ) = r ! ( n - r )!* ( 4 . 3) 

[只需把 （4.1) 的分子分母同时乘以 U — r )! 即得 （4.3).] 注意： 方程 （4.2) 的左 
边当 r =0 时是无定义的，但右边却是有定义的.为了使 （4.2) 对一切满足 0< r <« 
的整数 r 都成立，我们定义 


0=1， 0! =1， （4.4) 

和 O ) 0 = l . 

例 （ a ) 桥牌和扑克 （参见第1章脚注 1). 因为在一个人的手中的牌的次序是互 
不相干的，前面的定理证明了一副纸牌有013 559 600手不同的桥牌和 


( 5 5 2 )=2 598 960手不同的扑克.让我们来计算一手扑克包含5张不同面值的概率: r . 


这些面值可以用 ( f ) 种方法选取， 


而且对应于每一张牌我们可以自由地在四种花色 


中的一种中 选取. 由此推出，^==4 5 - 它近似地为 0.5071. 在一手桥 


牌中，13张面值都不同的概率为 4 13 + GD ， 或者近似地为 0. 000 105 7. 


( b )50 个州中每州有2个参议员.考虑由其中任意选取50个参议员组成委员会 
这样的事件.假设 （1) 指定某州要有 代表； （2) 所有的州都要有代表. 

在第一种情形，其逆事件的概率9要好算些.所谓逆事件，就是指定的那个州没 
有一个代表作为委员 • 总共100个代表中，有98个不是那个州的 代表. 因此 


9 = 


Qia 


50 • 49 
100 • 99 


= 0, 24747 


* 


其次，第2节的定理 证明： 委员会要使每一州都有一个代表的选取方式共有2 5(> 种. 


因此，所有的州都有委员的概率为利用斯特林公式（参见第9节）， 


可证 5 • 2— 50 义 4. 126 • 10一 14 . 
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( c ) 占位问题. 我们再一次考虑 r 个球随机地分布于〃个盒中（即是 Y 种可能的 

排列都具有概率为了找出一个给定的盒中恰巧包含々个球 a = 0， l ，2, …， r ) 

_ . 

的概率 久，我们首先 注意：々个球 可以有种方式选取， 而 剩下的 r 一 々个球 放入 
剩下的 „ — 1 个盒的方式有种.由此推出 

HD • 击 • { n ~ ly ~ k = { r k ) ^ ^ ^ “ - 士厂' ( 4 . 5) 

这就是所谓二项分布的一种特殊情形，二项分布将在第6章中讨论.数值可以从第6 

章表3中查出. ► 

可分辨与不可分辨的元素的区别类似于子总体与相应的有序样本之间的关系. 
删去一个由 r 个元素〜，…，〜构成的排列（或群）的全部下标，就得到一个由 「个不 
可分辨的字母构成的 排列. 反之，把它一类排列屮的 r 个字母各标以一个数字，就得 
到了一个由字母 A ，…， •构成的排列.这种办法可以提供 r ! 种不同的排列，显然， 
变换 a , 和〜的位置得到一次重排.下面的例子 说明： 如何利用这种原理并把它推广 
到元素仅有部分相同的场合. 

例 （ d ) —种或两种颜色的旗子. 在 2.1 节例 （ f ) 中，证明了 r 面不同颜色的旗 
帜挂在〃根旗杆上有 N = «( w +1 ) … (《+r •— 1) 种挂法.现在考虑类似的问题，但所有 
的旗帜的颜色都是一样的（即是不可辨的).把每一种这类挂法的每一面旗帜标以一 
个数字，就得到了 r 面可辨的旗帜的 H 种挂法，于是?•■面同一种颜色的旗帜的挂法 

恰巧为 N / V ! 种. _ 

其次，若这 r 面旗中有 f 面是红的（不可辨的）有9面是蓝的 ip J rq = r ). 标有 

r 个数字的旗帜的每一种挂法可以由红旗标以1至 p ， 蓝旗标以/> + 1 ，…， f + g 的相 

应的挂法而得到.于是现在共有 N /( p \ q \ )种挂法. 

( e ) 包含两类元素的 次序. 考虑一个长为 p + g 的由 P 个 a 和 g 个构成的序列. 
对 a 标以数字1到/>，对/?标以数字/ >十1 到 P +9， 于是得到一个由0十9个可辨的元 
素构成的序列.有 ( p +^>! 这样的序列，其中有/>! g ! 种对应于《和的相同的排 

列.因此， />个0：和 g 个卢恰巧有 

( p + g ) ! __ / P + g \ 
p \ q \ V /) / \ q ) 


种可辨的排列. 

同样的结果可以从定理 1 和下列事实直接 得到： 户个 a 和9个/?的全部次序可以 

从/>+9个可能的位置中选取/>个位置放入 a 而得 • 

( f ) 连结一张棋盘的两个对角的顶点的最短的多边形的轨道（包括横向的和纵向 

的线段）的数目是 

( Y ) = 12 870. ► 


定理2 令为满足 
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广1+广2 + 〜+ 〜="， r^O (4,6) 

的整数.把一个包含《个元素的总体 分成々 个有序的部分（分为 々个子 体），其中第 
一部分包含6个元素，第二部分包含 r 2 个元素，等等，这种分法共有 


! r 2 !…〜！ 


(4.7) 


[数 （4,7) 叫作多项系数 .] 

注意： 子总体之间的次序是必要的，譬如 （ n =2， r 2 = 3) 和 （ o = 3 ， r 2 =2) 代 
表不同的分法；然而，组内之间的次序是无关紧 要的. 同时还要注意 ： 0! =1，所以 
r , 等于0时并不影响公式 （4, 7), 由于允许6 = 0,” 个元素划分为少于或等于々个子 
群，恰巧分成6个子类，即 r z >0 的情形将在 2. 11节习题7中处理. 

证反复利用 （4,3) 可以证明数 （4.7) 能够写成下述 形式： 



(4*8) 


另一方面，为了作成需要的划分，我们首先从给定的〃个元素中选取 n 个； 再从剩 
下的 7 Z — n 中选取大小为 r 2 的第2组，等等.当第 （_1 组选出以后，还剩下 w—n — 
r 2 -^^^^个元素，而这些元素就构成最后1组.我们断言，构成上述划分的 

办法共有 （4.8) 所确定的数目那样多. ► 

例 （ g ) 桥牌. 在一场桥牌比赛中，52张牌分成四组，每组13张.因此，不同 
的情形共有 52!. (13!)- 4 = (5. 36-) • 10 28 #.让我们计算每一个参与者都有一张爱 
司的概率_ 4 张爱司可以排成4! =24种不同的排列次序，而每一种次序代表给每个 
参与者一张爱司.剩下的48张牌有 (48!). (12!厂 4 种分配方式 • 因此所要求的概 

率为 

24 • 48! . (13)752! =0_ 105… • 

Oi) 骰子.把 12 颗骰子掷一次，可以产生 6 12 个不同的结果，它们都被赋以相同 
的概率.每点出现二次的事件，即把12个骰子排成6组，每组2个.因此，这事件 

的概率为 12! /(2 6 • 6 12 )=0. 003438 …. ► 


2.5 1 在占位问题中的应用 


第 1.2 节的例子显示，把 r 个球随机地放入《个盒的模型具有广泛的应用.在许 
多场合，需要处理 不可辨 的球. 例如，工作日中事故的分布的统计研究，日历中生 
日的分布，人们仅仅对发生的次数感兴趣，并不对事故中的个体感兴趣.再如，掷^ 
颗骰子等价于把 r 个球置于 = 6个盒中.虽然可能追踪〃颗骰子的结果，但主要的 
是关心么点、两点 . 的个数.在这些场合，我们仍然假定这些球是标有号码的， 


1. 这一节的内容是很有用的，而且是富有启发性的，不过以后不是明显地用到. 
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但是我们的注意力主要集中在这样一些事件，它们与标号是无关的.这一个事件， 
完全由占位数… ，〜所 刻画，此处 q 表示第 &个盒 中装有的球的个数.每一个 


n 元整数组 满足： 

n + r 2 H - \- r n = r 9 r k ^0, 

且它描述了占位数的一个可能 结构. 只有当对应的 ”元组 （ n ， r 2 
不可辨球的下列两类分布才是不 同的： 

( i ) 可区别的分布的数目[即方程式 （5.1) 的不同解]是 1 


(5.1) 
r n ) 不恒等时， 


rz+r —1 


n ~\~ r _ 1 
n 一 1 


(5.2) 


( ii ) 没有一个盒是空的可区别的分布的数目是 


— 1 
— 1 


证我们用 ”+1 条 I 把空间分成〃个盒，而用 * 代表球 • 因此符号 

|**^|*||||****| 

代表这样一个 分布： r =8 个球放于《 = 6个盒中，其占位数为3，1，0,0,0, 4 .这样的 
符号的开始和终结必需有一条 I ，但是其余的 〃一 1条丨和 r 个*可以按任意次序排 
列.用这种方法可以看出，可区别的分布数等于从 》+ r — l 个位置中任取 r 个位置的 
选法，即是 A _( i ) 得证.没有一个盒是空的相当于没有两条 I 靠在一起.但 r 个星 
之间空出 r — 1个位置，而这 r 一 1个位置中有 n — l 个被丨所占位，因此，我们有 

( T" 1 \ I 八 b r \ ti 、」^ 丄、十 1 mO\ 


=二^种可能的选择，这就证明了 （ ii ). 


例 U ) 掷 r 个不能辨别的骰子，可以分辨的结果共有个. 

( b ) 偏导数.一个 w 个变元的解析函数/ (A ，…， ；） 的 r 阶偏导数不依赖其求 
导数的次序，而只依赖于对每一个变元求导数的次数 • 因此，每一个变元对应于一 

个盒，所以不同的 r 阶偏导数共有广+= ^个. 一 个三元函数的4阶偏导数共有15 

个，5阶偏导数共有21 个. ► 

考虑《个固定的满足方程式 （5.1) 的整数 • 把 r 个球置于》个盒中的放法的数 

目，归结为定理 4. 2中所给出的占位数 n ，•••,〜.假定全部 Y 种放法都是等可能的. 
占位数是给定的 n ，•••，/*„的概率为 


(5.3) 


n ! Q ! 


这类概率分配在前已提及的全部应用中都用到过，并用作随机性的直观概念的 
固有的基础，没有其他的分配被建议作为概率的或直观的基础，足以见它在方法论 
上的重 要性， 经验驱使物理学家用其他的分布来代替分布（5.3)，而这给直观带来 


hr - 100, n = 4 的特例在第 1.2 节例 （ e ) 中应用过- 
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了冲击.这将在下半节中讨论.（在物理学中 V 称 （5.3) 为麦克斯韦-玻耳兹曼分布). 
多种需要要求我们进而考虑盒是不可辨的，这导致占位数中的次序是不可区分的.下面 


的例子将提供一个解决此类问题的常规的方法. 

例 （ c ) 把 r =7 个球放入 n =7 个盒中的形式 （盒可以理解为一周的7天，球可以理解为 
呼唤、信件、意外的事件等等).为了简洁起见，让我们考虑一个 以任意次序出 现的占位数为 
2,2，1,1，1，0,0的分布.这7个占位数把7 个盒分 为三个子类，它们分别为有两个盒两次地被 
占位，三个盒被占位一次，两个空着的盒.这样把它们分为三群其大小各为2,3,2的分法共 
有 7! —(2! _ 3! .2!) 种.而对每一种给定的分法，把7个球放人这7个盒中的方法共有 7 ! + 
(2! • 2! • 1! • 1! • 1! • 0! • 0!) = 7! 十 （2! • 2!) 个不同的 分布， 所 以用某种次序出现的占位数 
为2,2,1，1，1，0,0的不同的分布共有 



(5.4) 


以后将会 指出： 此结果可以通过两次应用 （4.7) 式而导出，即是既对球又 对盒. 同样的 
结果可以用许多方法推出而且也可以写成多种形式，但是此处的方法对多类问题提供了一个 
最简单的常规技巧 • （参 见第 10 节习题 43 — 45) 表 2-1 包含了类似于 （5. 4 ) 的数据，包含了 

当 n = r =7 时占位数的全部可能的结构的 概率. ► 


表 2-1 7个球放入7个盒中的随机分布 


占位数 

徘列数等于7! X 7! 除以 

概率（排列数除以 7 7 ) 


7! X 1! 

0_ 006 120 

2，1，1，1，1，1，0 

5! X 2! 

0. 128 518 

2,2，1，1，1，0,0 

2!3!2! X 2!2! 

0. 321 295 

2,2,2,1,0,0,0 

3!3| X 2!2!2! 

0. 107 098 

3，1，1，1，1，0,0 

4121 X 3! 

0.107 098 

3,2，1，1，0,0,0 

2!3! X 3!2! 

0, 214 197 

3,2,2,0,0,0,0 

2!4! X 3!2!2! 

0, 026 775 

3,3,1，0,0,0,0 

2!4! X 3!3! 

a 017 850 

4，1，1，1，0,0,0 

3!3! X 4! 

0. 035 699 

4,2，1，0,0,0,0 

4! X 4!2! 

0. 026 775 

4,3,0,0,0,0,0 

5! X 4!3! 

0. 001 785 

5，1，1，0,0,0,0 

2!4! X 5! 

0, 005 355 

5,2,0,0,0,0,0 

5! X 5!2! 

0, 001 071 

6，1，0,0,0,0,0 

5! X 6! 

0. 000 357 

7,0,0,0,0,0,0 

6! X 7! 

0_ 000 008 


1. 波司-爱因斯坦和费米-狄拉克统计 

考虑一 个力学系统，它具有 r 个不能分辨的质点.在统计力学中，常常把相空间 
分成 w 个小区域（或者盒），《是很大的，因此，每一个质点总处于某一个盒中•用 
这种方法，整个系统的情况以 r 个质点放入《个盒的随机分布来 描述. 乍一看来，似 
乎（至少对〃个盒适当的定义）全部^个排列都具有相同的概率 • 如果这是对的， 
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那么，物理学家把它叫作麦克斯韦-玻耳兹曼统计（这里所用的“统计” 一词是物理 
中的术语).人们曾经花费过很多精力要想证明物理质点是按照麦克斯韦-玻耳兹曼 
的统计法则行动的，但是现代理论无可置疑地表明，这个统计法则对于目前所知的 
任何质点都是不适用的.在任何情形下， 那# 种排列的概率都不是近乎相等的.于 
是，人们另外引进两个概率模型.这两个概率模型分别能够满意地描述某一类型的 
质点的动态.应用的时候，哪个成功就用哪个 • 两个模型都不是放之四海而皆准的 • 
说不定有一天，对于某些种类的质点人们还会引进第三类新模型. 

必须记住，现在我们只讨论那些不可分辨的质点.有 〃个质 点和《个盒.所谓波 
司-爱因斯坦统计，就是只考虑那些可区分的排列，而每个排列都赋以相等的概率 
1/ A r .„, 此处 A _，„ 由 （5.2) 所 定义. 在统计力学中，已经证明这个假设对于含有偶数 
个基本质点的光子、核子和原子都是正确 的⑽. 为了描述另外一些质点的情况，我 
们要引进第三种赋概的方法.费米-狄拉克统计是基于这些 假设： （1)2 个或多个质 
点在同一个盒中是不可 能的； （2) 满足上一个条件的所有的可区分的排列具有相同 
的概率.这里第一个假定要求每一种排列都相当于《个盒中某「个各含一个 

质点，也就是说，每一种安排相当于从《个盒中选取 r 个.因此，在费米-狄拉克统 

— \ 

计中，共有种不同的安排，每一种排列都具有概率 . 这个模型可以应用在 

电子、中子和质子上.这个富有教育性的实例告诉我们，光凭先验的论证来选择或 
判明概率模型是行不通的.事实上，没有任何的抽象推理可以说明为什么光子和质 
子并不遵从同一个概率规律（麦克斯韦-玻耳兹曼统计和波司 - 爱因斯坦统计之间的 
基本区別将在第11节习题14一 19中 阐明乂 

求和： 在麦克斯韦-玻耳兹曼统计中，盒1，2,…，《分别包含~，~…， r „ 个球（其中 
ri + … + rn ==： r ) 的概率由 （5.3) 式所 给出； 在波司-爱因斯坦统计中，这个概率是 

1/ A r , fl ； 而在费米-狄拉克统计中，这个概率等于，其中每一个 n 都为0或为 1. 

例 U ) 令 n =5， r =3. 按照麦克斯韦-玻耳兹曼，波司-爰因斯坦，费米-狄拉克 
三种不同的统计法则，排列 I 一卜卜 I 一）分别具有概率或也可以参 
见第 1. 6节例 （ b ). 

( b ) 印刷错误. 一 本书中包含了 n 个符号（字母）， 其中 r 个是印错的.错字的分 
布对应于 r 个球放人 "个盒 的分布（每一个盒最多有一个球).因此，有理由假定： 
印刷错误遵从费米-狄拉克统计（参见 2. 10节习题 38). ► 

2. 应用到连贯中去 

在任一由两类元素构成的有序序列中，由同一类元素所组成的最大的子序列称为一个 
连贯.例如，在序列中，开始时，有长度为3的一个 a - 连贯，其后有 4 个 

连贯，长度依次为1，2,3，1.£?-连贯和/?_连贯是相间的，由此，连贯的个数总是等于 
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异类相 邻的总次数加 1. 

应用的 例子.连贯理论可以有很多方式应用到统计中去，不过，其主要还是用 
于联系随机性检验和齐次性检验. 

( a ) 在随机性检验中， 问题是要判断一次给定的观察是不是随机的，或者是不 

是有系统的因素在起 作用. 一个简单的例子 [11] ，我们假定一个人观察餐桌用坐情况. 
他用 E 表示空座，0表示被占座，给出了如下的一个 记录： EOEEOEEEOEEEO - 
EOE . 值得注意的是，没有2个被占座位是相邻的.这可能是偶然的吗？因为对于5 
个被占座位和11个空座而言，连贯的个数不可能多于11个，而这个记录恰巧就是有 
11个连贯的极端情形.以后，我们会指出，如果所有的排列都是等概的话，出现11 
个连贯的概率只有 0.0578 …. 这个小概率在某种程度上符合了这种预感，那 就是: 
所观察到的那种分离现象是有意的.这样的怀疑虽然不能用统计的法则加以证明， 
但是如果继续观察下去，就可以收集到更多的证据 • 如果餐厅常常有家庭顾客用餐， 
那么将会有成群地集中占领座位的倾向，因而会出现个数（相对地）较少的连贯 • 
同样，如果把教室里男生和女生的连贯计算一下，也许就可以发觉他们混合的情况 
不是随机的.难得出现的排列竟然出现，可以给出一些线索去寻求系统 原因： 连贯 
的数目过多就表示人为的故意混合；连贯个数太少表示人为的故意集结. 当然，这 
些结论并不是很 可靠. 但是，有效的统计技巧已经大大地发展了，它在实践中大大 
地缩小了作岀错误结论的危险性. 

休哈特把连贯理论应用于工业上的质量控 制中. 当橡皮垫圈制成之后，其厚度 
各不相同.厚垫圈的长串（长连贯）的出现，可能反映生产过程不够完善，由此引 
导我们去消除不完善的原因.这样就能防止即将到来的毛病，而使得产品达到高度 

的均勻性. 

在生物的现场实验中，我们计算健壮作物和有病作物的 连贯. 有病作物的长连 
贯提示疾病的蔓延.气象学家留心干燥和潮湿月份的连续现象「 12] ，借以发现气候的 

持续现象的线索. 

( b ) 为了了解典型的 齐次性 问题，我们假定两种药给两组病人 服用， 或者说我 

们想比较两种处理（医药上的、农业上的或工业上的）的效果.在实践中，我们有 
两组观察结果，譬如说^，奶，.. •，〜 和供，保 ，…， A 分别对应于两种处理或者说分别对 
应于两个总体中的元素的某一特性（例如重量) • a 和都是数，我们假定它按大小 
次序排列：… … 我们把这两组数合在一起，并按大小次 

序来排列_ 一个极端的情况是全部《都在全部前面，这种现象可以用来指出这两种 
处理或这两个总体之间有差异.另一方面，如果两种处理都是一样的，则《和^或多 
或少以随机次序出现 • 沃尔德 （ A . Wald ) 和沃尔福威茨 [13] 曾经证 明了： 连贯理论常 
常能很方便地用来发现微小的系统误差（一个用不同的方法处理的例子见于第 3 . 1 

节例 （ b )). ► 

许多关于连贯的问题都可以用一种极简单的办法 解决. 给定^个不可区分的 Q ： 和 
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办个不可区分的/?，则有个可以区分的次序.如果有叫个 a - 连贯，则 /?- 连贯 

的个数或者为 A +1， 或者为 m —1，或者为 《 i . •把 a 个 a 安排在％个连贯中等价于 
把它们安排到 A 个盒中去，它们中间没有一个是空的.由最后一个引理 得知： 这种 

安排法共有 ( a _ l ^ 种.由此推出，具有 A 个^-连贯，〜+1个/?-连贯的排列共有 

\ rii 一 丄 / 




n x 




(在第11节问题 20-25 中还要 继续乂 


( c ) 在物理学中，用连贯理论来研究合作现象，在伊辛 （ Ising ) 的一维点阵理论 
中，能量依赖于“异类相邻阵点”的总数，也就是说依赖于连贯的个数 • ► 


2. 6超几何分布 


很多组合问题可以归结成下面的形式.在《个元素的总体里，叫个是红的， 
« 2 = n — 〜个是黑的.任意选取 r 个元素组成 一组. 试求所取出的这一组中，恰有是 
个红元素的概率％.这里，々是整数，它的取值范围是从0到 min ( r ，％)， 

为了求出仏，我们注意到，选取的这组中，包含着々个红元素和「一 々个黑 元素. 


红元素的选取有种不同方式，而黑元素有种方式 • 由于々个红元素的任 
意一种选法都可以和黑元素的任意一种选法配合，所以我们得到 



( 6 . 1 ) 


如此定义的这一组概率，就称为 超几何分布 1 • 利用 （4.3) 式，可以把 （6.1) 写成 


Qk 



( 6 . 2 ) 


注概率％只有在々的数值不超过「 或〜有 定义.虽然如此，但从定义（ 4 .1) 


可以 推出： 当6>“时^)=0.因此，当6>叫或々 > r 时，（6_1)和 （6,2) 式都给 

出 A 二 0. 于是， （6.1) 和 （6.2) 的定义对所有的々>0都可以应用，只要把关系 

仏== 0 的出现解释为其所对应的事件是不可能事件就 成了. 

例 （ a ) 质量检查.在工业的质量控制中，产品分批进行抽样 璋查， 每批由”件 
产品组成.在一批中，次品就以“红”元素代表之 • 当然，它们的数目叫是未知的. 


1. 这个名字可由以下事实来作解释：的母函数（参阅第11章）可以用超几何函数来表示_ 




i. 
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在取出的大小为 r 的一个样本中，次品的个数々是完全确定的.于是， （6.1) 式可以 
使我们对 m 的值作出似然的估计.这是一个典型的统计估值的问题，但它已超出了 
本书的范围. 

( b ) 在 2.4 节例 （ b ) 中，由100位参议员组成总体，有叫=2位是指定的那个州 
(即“红”的）的参议员.任意选取 r =50 位为一组，其中来自指定的那个州的代表可以 

有是=0，1或2位•从 （6.2) 式，我们可以得到(记住由 （4.4) 式给出的 (9=1) 




• 49 

= =0 247 47…， 

100 • 99 ’ 


— 50 一 
-_-— 

99 

= 0. 505 05 


2. 4节例 （ b ) 中也得到过的值，但是方法不同. 

( c ) 用标记后再捕记录来估计一群动物的总数 1 . 假设从某一个湖里，捉出1000尾 
鱼，涂以红点后 放回. 隔了一段时间以后，重新又捉出1000尾鱼，发现其中有100尾 
涂有红点 的鱼. 根 据这些情况，对该湖中鱼的总数能作出什么结论呢？这是统 计估值 
的一个典型问题.如要叙述近代统计中用到的各种方法，未免离题太远.现在我们只 
想说明一下，超几何分布是怎样提供给我们线索来解决问题的 • 我们自然要假定，这 
两次捕捉都考虑为从湖中所有的鱼组成的总体中所作的随机 抽样. （实际上，这个假设 
排斥了下面两种 情况： 两次捕捉都在某一个局部的区域进行；两次捕捉之间相隔的时 
间太短 .） 我们还假定，在两次捕捉期间，湖中鱼的总数是一个常数 • 

为使问题一般化，我们考虑任意大小的样本，令 
湖中鱼的总数（未知的）； 

〜=第一次捉出的鱼数，它们对应“红球”； 
r =第二次捉出的 鱼数； 
k =第二次捉出的鱼中有红点的鱼的总数； 
q k in ) =第二次捉出的鱼中恰有々尾有红点的鱼的概率. 

这样 一 来，我们马上看出，％(«)是由 （6.1) 给 出的. 实际上，和&是可以 
观察到的，而 n 是未 知的. 注意，顺便再提一下，〃是一个定数，它不是随机遇而改 
变的.我们知道，曾 经有叫 + r _ A 尾不同的鱼被捕到过，因而这就是 
预先可以作出肯定判断的全部.在我们的例子里，1000,^=100,因此湖中只 
有1900尾鱼的假定是可以考虑的.但是如果从这个假定出发，导出来的结论 是：发 
生的事件的概率小得惊人.事实上，大小为1000的两次样本，取尽了整个总体中的 
1900尾鱼，其概率由 （6.1) 可知为 


1. 这个例子在第一版中就采用了，但是当然我不知道这个方法在实际里已经广泛采用.关于这方面的新 
的贡献请参见文献 N . T . J . Bailey [14] 和 D . G . Chapman 〔15], 
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/1000 w 900 W 1900 (1000! ) 2 
V 100八900八 1000) — TOO ! 1900 T 

由斯特林公式（参见第 2. 9节）可以证明，这个概率的数量级将是 1( T 43 °. 因此可以 
认为，我们的假定不合理应予以否定.同理可知，《很大（譬如说1 000 000) 的假 
定也一样会被否定的.经过这样的考虑，迫使我们去寻求使仏（〃)达到最大值的那个 
«，因为那个《能使我们的观察有着最大的 概率. 对任意一组特定的观察值，卜々，使 

%(«)达到最大值的 那个” 就记作 L 并称为〃的 最大似然值. 这个概念是由费希尔 


(R A , Fisher ) 所引进的.为了找出心考虑比值 

in—rii )(n — r) 

q k (n 一 1) (n 一 n x 一 r~\^k)n _ 

由简单的计算可知，这个比值大于或小于1，对应于或以>«'.这就是说， 
当《增大时，序列仏 U ) 先是上升而后下降.当”为小于 ArA 的最大整数时，它达到 

最大值.因此^大约等于《^/1在我们这个例子里，鱼数的最大似然值为10 000, 

«的真值可能大些或者小些，我们可以找出这样一个范围，使得我们可以合理地 
期望《落在这个范围之内.为此，让我们来检验”小于8500的这个 假设. 把》= 
8500，％ 1000代入 （6.1) 而进行计算，在第二次样本中含有100尾或较少的红 

点鱼的概率.这概率为 • rzgci+gi +…直接计算这个工是很麻烦的，如用第 7 
章的正态近似法，就可以很容易求出〜 0.04. 同样，设 n ==12 000, 则在第二次的 
样本中含有100尾或较多红点鱼的概率约为 0.03. 根据这些数字，可以推想鱼的真 
正条数 n 大约处在8 500与12 000之间.还有其他的方法来推导这些结论和进行估 

值，但是我们在这里就不细讲了. ► 

由概率仏的定义，可得+ 仍 +… =1. 因此，对任意正整数《，和广， 
(6.2) 蕴涵着 





(6.4) 


这个等式是常用的.对于正整数”和 r 来说，我们已经把它证明了，但它的成立并不 
受这个限制.实际上，当《和 r 为任意正、负整数时，（6. 4 )都成立（〜必须是正整 
数，否则没有意义).（两个证明的提示在第12节问题8,9中给出 .） 

很容易把超几何分布推广到大小为《的总体中含有好几类元素的情况 * 例如， 


假设总体中含有三类元素，其个数分别 为叫， 叫和《—〜一如果取岀一个大小为 
r 的样本，那么，这样本含有&个第一类元素，々2个第二类元素和 r ~ k x — k 2 个第三 

类的概率为（与 （6. 1) 相似） 



(6.5) 


当然，必须要有是1<"1，々 2 <«2和 r — « 2 . 

例 （ d ) 桥牌. 52张牌的总体包含4个类，每类由13个元素组成.任意发到一 
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家的13张牌含有5张黑桃，4张红心，3张方块和1张梅花的概率为 

2.7 等待时间的例子 

在这一节里，为了考虑一些新型的样本空间，我们将避开组合分析的直接思路， 
把占位问题稍许变化一下.我们再一次地考虑把球随机地放入《个盒这个概念化了 
的“试验”.然而，这时我们事先并不固定球的个数 r , 而是让球一个接一个地投入 
小盒，一直到我们指定的结果出现为止.我们将要仔细考虑下面两种可能的 结果： 
( i ) 球一个接一个地往盒里随机地放，一直到有一个球放入某一个已经有球的盒为 
止. 这个过程一直进行到第一次出现这种模式才结束 .（ ii ) 我们固定一个盒（譬如 
说，第一个盒），当这固定的盒还空时，我们就持续地随机地放小球入盒， 也就是说 

当这个盒一旦放入球时，这个过程就停止. 

只要把这个模型稍许解释一下就会说明问题. 

例 （ a ) 生日. 在 2.3 节例 ( d ) 中，一年中 rt = 365 天对应为365个盒， 人 对应为 
球.我们的模型 （ i ) 现在可以这 样说： 如果我们一个接一个地随机地选人，问需要选 
取多少次才能发现有两个人为同一天生日？模型（幻轮到我的生日在样本中出现时 
需要选取多少人. 

( b ) 钥匙问题. 一 个人想打开他的门.他有〃把钥匙，但是只有一把能打开他的 
门.由于事先不知是哪一把，他随机地用这些钥匙去试开，因此，每一把钥匙在每 
一 次试验中被抽到的概率都是，而且含有同样多的试验次数的全部可能结果都是 
相 似的. 这个人恰巧在第 " 次试验把门打开的概率是多少？这是模型（幻的一个特 
别情形，把这种做法与 2. 10节中习题11的更系统的探讨比较一下是很有趣的，也可 
参见 5.8 节习题 5. 

( c ) 在前面的例子中，我们可以用从任意的总体中抽样来代替从钥匙中抽样，譬 
如说，我们可以用收集赠券来代替抽取钥匙.我们 再问： 我们指望什么时候出现第 
一次重复，何时出现预先指定的元素. 

( d ) 硬币和 骰子.在第 1.5 节例 （ a ) 中，一个硬币一直扔到出现正面为止.这是 
模型 （ U ) 当的一个特殊情况.掷一颗骰子，直到第一次出现么点为止，这也 
是模型 （ ii ) 当的一个特例（在 2. 10节习题21,22,36, 2. 11节习题12还考虑 

了其他的一些等待时间). ► 

我们首先讨论概念化的简单的模型 （ i ). 为了方便起见，我们利用符号 （ L ， 
j 2 ，…， j r ) 表示第1,第2,…，第 r 个球放入第夂，） 2 ，…，人个盒，而且过程在第 r 步 

结束.这就意味着 乂都是 1 到” 之间的整数，此外 A ，…，;^都是不相同的，但人等 
于） t ，…，人!中的某一个.每一个这样的排列都代表一个样 本点. 因为第一次出现某 








如我们在 （3.4) 中所作的一样，我们要取对数.当 r 相对 n 来说较小时，我们 
看出 一 log 〆 差不多等于 —/ Zn , 这就推出 的中位 数大致上等于 （n • 2 • 

log 2)^, 或者近似地为有趣的是，当总体的大小的平方根增加时，其中位 

数也增加.为了比较， } 的中位数大约为 log 2, 或0.7«，它对 n 是线性地 
增加.在模型 （ ii ) 中，等待时间超过《的概率为 （1 一 或者近似地为 = 
0. 36788-. 



当"是一个正整数时，我们曾经使用过二项式系数但是，可以很方便地把 


它的定义推广.方程 （2.1) 中所引进的数 Cr ) r: 

(: r) r = x(:r— 1 ) … （工一 r+ 1 ) 

当 r 是一个正整数时对一切实数工都有定义.当 r = 0 时，我们令 U )。 

{ x\ {x) r xix — l)-“ （ x — r+1) 


( 8 * 1 ) 
i . 于是 

( 8 * 2 ) 


对全部实数 x 和全部正整数 r 定义为二项式系数_当 r =0 时，如 （4.4) 一样，令 


1和0!=1.对于负整数 r ， 我们定义 






0 , 


( r <0). 


(8.3) 


如果 r 不是整数时，我们不用这一符号 • 


利用这个定义，我们很容易地验证 

/ —1 \ / _ “ 


1)r ，( 


— 2 


一 l ) r ( r + l ). 


(8,4) 


下面将要用到三个很重要的性质_第一，对于每一个正整数 n 来说 


=。当 r >n 或 r <0. 


(8.5) 



，对每一个 x 和每一个正数 r 来说 


j：+l 


( 8 . 6 ) 


这些关系都可以由定义直接验证.下一个关系的证明在一些微积分教科书中可以找 
到： 对于任何数 a 和一切 一 我们都有牛顿二项式公式 


a+" a =i+0+ 






(8*7) 


如果 a 是一个正整数，右端诸项中次数髙于^的项都为0，从而公式对一切£都成 
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立.如果 a 不是正整数，右端是一个无穷级数. 

应用（8.4)，我们发现当 a = — l 时，展式 （8.7) 化为几 何级数 

- = 1 — t-^t 2 — t z +^ 4 — h... ， 一 1<C^<C1. (8.8) 

积分 (8.8), 我们得到另外一个公式，它在以后是很有用的，这个公式就是自 
然对数的泰勒展式 

log ( l +^) = t —~^ 2 +~^ 3 — "^", 4 + *..，— (8. 9) 
(8.9) 的两个另外的形式更常用.以一£代£，我们得到 

log — (8. 10) 

把最后这两个公式加起来我们得到 

-ylog + + t 5 + *” ，— (8.11) 

所有这些展式都只有当一 1<〖<1 时才成立. 

在 2. 12节中，将要从 （8.7) 推出许多有用的关系式.这里我们只注意 a = n 是 

正整数且令 £ = 1 的情形时， （8.7) 推出 

⑵+⑺ +(;) + "_0 (8 . 12) 

这个公式有一个简单的组合 解释： 把一个具有 ”个元 素的总体分为两群，第一 
群的元素个数可以为& = 0，1，…， rz ， 其分法的数目等于这个公式的左边 • 另一方面， 
这样一种分法可以直接考虑每一个元素或者属于第一群或者属于第二群，其分法等 
于公式的右边（类似的推理可以 证明： 多项式系数 （4.7) 相加等于务”). 

2.9 斯特林公式 

分析概率论的一个重要工具蕴涵在下述著名的定理 [16] 中： 

斯特林 公式： 

n \ — e -- " , (9_1) 

其中符号〜表示两边之比当 00 时趋于 1- 

这个公式是非常有用的，因为它有很大的理论价值，并且通过它可以得出一些 
精确的数值估计.确实，（ 9 ，1)两边之差可以超过任何数，但是其百分误差却是很 
小的.它下降得很迅速，甚至当《很小时，斯特林逼近都很 精确. 事实上’ （9.1) 的 
右边以 0.9221 来逼近1!，以 1.919 来逼近2!，以 118. 019来逼近5! =120. 其百分 
误差分别为8%，4%，2%.对10! =3 628 800来说，其近似值为3 598 600,其百分 
误差为0.8%.对100!来说，其百分误差只有0.08%. 

斯特林公式的证明我们首先要推出下式的几类估计： 
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log n \ =log 1+log 2 + *^+log n . 

因为 logi 是 x 的单调函数，所以 


(9.2) 


f k 


k-i 




log:r dr 〈 log k <C log x dr. 


(9.3) 


k 


把上式对々从 1 到 n 相 加得: 


n 


■於 1 


0 


logi dr < log n! < log x dr 


(9.4) 


或者 


n log n 一 n<Clog n \ <C(n-hl)log(72+1) 一 n , - (9* 5) 

这个双重不等式提示我们把 log n! 与两端的数的算术平均来做比较.这样的最简单的 


数是 （77+ + ) log 


， 据此，我们估计下面的差 


[17J 


d n = log n ! *^(n+-|')log n ~\- n . 


(9.6) 


注意 


d n — d n+l = { n+-^-)\og 


n 十 1 


— L 


(9.7) 


但是 


n +1 


1 -j —— — 
^2n+l 

2n+l 


(9,8) 


应用展式 （8.11) 得 


d„ — d 


n+1 


3(2n+l) 2 5(2n+l) 




(9.9) 


把上式右边与一个公比为 (2/z+l 广 2 的几何级数进行比 较得: 


(9. 10) 


0< ^~^ +1< 3[(2w+l) 2 -l] = 12^~12(n+l)* ( 9 . 10) 

由 （9.9) 得知是下降序列，而 (9. 10) 说明序列{^_ (12W- 1 } 是上升的，因此 
极限 


lim d n ~C 

存在且有限 • 但是，由 （16) 知： 式 —C 等价于 


(9,11) 




e ' 


(9.12) 


这就是斯特林公式，除了此处的常数 C 尚未确定以外，#= A 将在第 7 .2节中证 
明. 证明是初等的且不依赖于第4章至第6章的材料，证明延至第7章的原因是它与 

正态逼近定理有很自然的联系 [18] . 

精细化 • 不等式 （9.10) 有一个反向的伴随不等式 •由 （9_9) 易得： 


^ _ ^ n+1> 3(2n+l) 2> 1272+l _ 12(n+i) + r 


( 9 . 13 ) 
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由此得知序列 U - dh + ir 1 } 是下降的.而以 一(12/ zr 1 } 是上升序列，所以可得双重不 等式： 

士’ (9 - 14) 

以此代人 （9.6) 并注意 e e == A 可得： 

/U n n ^2 e _n • e U2n+1 厂】<”！ </^ 一 71 • d 12 ")— 1 • (9.15) 

此双重不等式给斯特林公式一个值得注意的补充，其左、右两边数值的比接近于 
l -( l 2 n 2 r \ 因此 （9.15) 右边的数超过 / I ! 但其误差小于 9/ T 2 %.实际上误差非常小，对 
77 = 2，（9. 15) 右方给出值2, 0007,对 n = 5，（9. 15) 右方给出值 120. 0 L 

2. 10 习题和例子 1 

注意： 在每一种情形都假定所有的排列具有相同的 概率. 

1. 每个人的姓都是一个英文字母， （ a ) 名恰含两个字母， （ b ) 名含至多两个字母， （ c ) 名含 
至多三个字母，试问 （ a )、（ b )、（ c ) 三种情况各构成多少姓名？ 

2. 莫尔斯电码中，普通的字是以“长划”和“点”两种记号容许重复使用来表示的.问不 
超过10个记号可以表示的字有多少？ 

3. 每块多米诺骨牌刻上2个数，骨牌是对称的，所以同一块骨牌上的数对是没有次 序的. 
如果用1，2,…，〃等数，问能刻出多少不同的牌来？ 

4. 数1，2,…，〃依任意顺序排列，试求数列中满足下列条件的概率 ： （ a ) 1与2相继 出现; 
( b ) 1，2和3相继出现. 

5. 某甲掷6颗骰子至少出现1个幺点就贏，某乙掷12颗骰子至少出现2个么点就贏.试问 

谁贏的概率大 2 ? 

提示： 计算输的概率. 

6. ( a ) 在3个随机数码中，一个数码重复发生1次，2次或3次的概率为多少？ （ b ) 对4个 
随机数码的情形，把上述问题再做一遍. 

7. 试求在 r 个随机数码的样本中，没有两个数码相同的概率久，并用斯特林公式，估计 Ao 
的数值. 

8. 在 々个随 机数码中下列事件的概率是多少？ （ a ) 0不 出现； （ b) 1不 出现； （ c ) 0与1都 
不 出现； （ d ) 0和1两数至少有一个不 出现. 令 A 和 B 分别表示事件 （ a ) 和 （ b )， 试用 
A 和 B 把其余的事件也表示出来 • 

9. n 个球随机放人 n 个盒中，问恰有一盒空着的概率为多少？ 

10. 某停车场一行有12个 车位. 某人发现有8个位置停了车，而有4个接连（构成一个连贯) 
的位置空着.这种发现令人惊奇（是非随机性的表示）吗？ 

1 L 某人有〃个钥匙，其中只有一把能开开他的门 • 他逐个地用它们去试开（抽样是无放回的）， 


1, 本节及 2. 12节为各种性质习题和问题，以及课文的各种补充_ 

2. 此问题曾由塞缪尔•佩皮斯于1963年写信询问牛顿，牛顿认为甲获胜的概率大.经推敲，牛顿推 
翻了该结论，但未能说服佩皮斯.可参看 [191 
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这可能要1次，2次，甚至〃次才能把门开开.证明这〃种不同的结果的概率都是 1/ n . 

12. 假定〃支手杖的每一支都折断成一长一短的两小段，把这2〃 个小段任意排成72对，接成 
^支新手杖.试求： （ a ) 这些小段刚好接成原来的样子的概率； （ b ) 所有长的小段都与短 
的小段配对的概率 1 . 

13. 统计假设的检验. 康奈尔大学某教授得到了 12张夜间非法泊车的罚款单，这12张罚款单 
都是星期二和星期四得到的_求此事件的概率（他是否只需要在星期二和星期四租用一 
个车库就没事了). 

14. 续前题. 12张罚款单没有一张是星期天得到的，能否保证他星期天不会收到罚款单？ 

15. —个匣子里有90只好的螺丝钉、10只坏的螺丝钉.如果从中任意取用10只螺丝钉，恰 
巧都是好的螺丝钉的概率为多少？ 

16. 从5个记号 a ，6， c ， 山 e 的总体中，抽取大小为25的一个样本，求样本中每类记号恰巧含 
有5个的概率_把 a 等同于数字0和1，6等同于数字2和 3 ,等等，用随机数的表来核校 
这个结果 2 . 

17. 若73个人站成一个横排，其中有 A 和 B 两人，问来在 A 和 B 之间恰有 r 个人的概率是多少？ 

如果他们不是站成一排而是站成一圈，试证这个概率与 r 无关，而且它就是 1/(” 一 1)( 在 
圈形安排中，只考虑从 A 到 B 的正方向) • 、 

18. 把3颗骰子掷两次，每次出现点子的花样是相同的概率是多少？如果： （ a ) 骰子可分辨； 

( b > 不可分辨，试分别求之. 

19. 试证，4颗骰子掷一次至少出现一个么点的可能性，比2颗骰子掷24次至少出现一个双 
幺点的可能性为大（这个问题回答了所 谓台. 曼来的悖论.台_曼来是一个赌徒，他认 

为这两个概率应该是相等的，由于赌运不佳他曾谴责过数学). 

20 * 从一个由《个元素构成的总体中抽出一个大小为「的样本_求指定的 N 个元素不包含在 
样本中的概率，假定 （ a ) 无放回； （ b ) 有放回 • 当 （ i )/?=100， r 二 N =3 ; ( ii )/2=100, 

r = N =10 时，比较上述两种抽样法所得到的概率. 

21. 谣言的 传播. 在一个 拥有〃 +1个居民的城市里，某人告诉第二个人一个谣言，第二个人 
又把谣言告诉第三个人，如此 等等. 在毎一步中，谣言的接收者都是随机地从”个居民 
中挑选的.求下述两事件的 概率： 谣言传播了 r 次后， （ a ) 还没有回到第一个造谣者； 
( b ) 没有一个人两次听到 谣言. 当每一次都把谣言同时告诉由城市中随机选取的以个居 
民时，问上面两事件的概率等于多少（前面的问题是 N =1 的特别情形) • 

22. 书信的连续传递. 在一个具有 《 + 1 个人的集体里，有一个人我们称为“祖先”，他发两 
封信给另两个人，我们叫“第一辈后代而这两个人又各发两封信给别人，一般地，第 
r 辈后代中的每一个人都随机地发两封信给 别人. 求出第1，2,…， r 辈后代都不包含祖先 
的概率_假定〃充分大，求出分布的中位数. 

23. —个家庭问题 • 某家有4个女孩，她们轮流去洗餐具.在打破的 4 个餐具中有3个是最小 
的女孩打破的，因此人家说她笨拙_她是否有理由申辩这完全是碰巧？讨论这一题和球 


1. 当细胞暴露于有害辐射中时，一些染色体将断裂，这可看作此处的手杖 • 长的一段称之为着丝点- 
如果两个长段或两个短段组合在一起，细胞将死亡_参看 [20]. 

2. 它们有时候是非常地相近，参看[ 2 1]_ 
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随机地放入盒中的联系. 

24. 求出下述两事件的概率 ： （ a ) 12个人的生日在12个不同的月份（假定任何一个人生于12 
个月中之任一月都是等概 的）； （ b ) 6个人的生日恰巧在两个月中. 

25. 给定30个人，求出12个月中有6个月恰巧包含两个人的 生日； 有6个月恰巧包含3个人 
的生日的概率. 

26. 鞋柜里有《双不同型号的鞋子.今从其中随机地抽 取〜只 （2 r </0, 求下面三个事件的 
概率 ： （ a ) 没有一双同型 号的； （ b ) 恰有一双同型 号的； （ c ) 恰有两双同型号的. 

27. —辆车子停在共有 JV 辆车子的一排中（不在两端).车主办完事回来的时候，发现 N 个 
位置中恰巧仍有 r 个位置有车.问该车左右相邻的位置都是空的概率是多少？ 

28. 把 2 iV 个男孩和 2 N 个女孩合在一起分为两群，每群各 2 N 个孩子，求每一群中男女数目 
相等的概率 p . 并用斯特林公式估计 A 

29. 证明打桥牌时坐在西方的人恰巧 拿到& 个爱司的概率 A 与任取13张牌其中恰有 々个 爱司 
的概率相等（直观上这是很显然的.不过要注意，这两个概率所考虑的试验是不同的， 
因为在后一种情形中，13张牌是任意抽取的，而在前一种情形中，52张牌都要发完 )• 

30. 在桥牌游戏中，证明东家和南家各有 m ， 〃张黑桃的概率和从整副牌中随机地取两副（每 
副13张），第一副有 m 张黑桃第二副有《张黑桃的概率相同. 

31. 南北两家共有々个爱司（々= 0，1，2,3,4)的概率为多少？ 

32. 令为满足13的四个非负整数，在 一 '次 桥牌游戏中，求东、南、西、 
北各家分别拿到张黑桃的概率 />( a ，6， c :， J ). 描述一个把红球黑球放人盒中的模 
型，可这个问题作为一个特例. 

33. 利用上题的结果，当 （ a ) a = 5,6=4， c =3， d=l 时； （ b ) a = 6 1 时； （ c ) a = 

办时，求出/?((2,6，<:，<^)之值. 

注意： 这三种情况有本质的 区别- 

34. 令 a ， b ， c ， d 为满足 a 十13的整数，求出在一副桥牌中含有 a 个黑桃、6个红心、 
r 个方块和^个梅花的概率并证明这个问题不可能化为一个把13个球随机 
地放人4个盒中的模型 • 为什么？ 

35. r 张桥牌中爱司的分布. 计算随机抽取 r 张桥牌，其中恰有0，1，…，4张爱司的概率 
po ( r),pi O ) ，…，验证 p 0 ( r )^ p4 ( b2 — r) t 

36. 续上题等待 时间.如果一张-张地抽牌，求出第1，…，第 4 张爱司在第 r 次抽取中出现的 
概率 /\( r )， …， / 4 ( r ). 猜测第 I ，.-，第4张爱司的等待时间的中位数，进而算出它们来_ 

37. 如果两副桥牌中每副都有 r 张，而且 U ) 它们都是从同一副桥牌中取出的； （ b ) 它们是 
从两副桥牌中取出的，试求每一副牌中恰 有&个 爱司的 概率. 证明：当 nlS 时，问题 

( a ) 的概率与指定两个桥牌游戏者各获6个爱司的概率一样. 

38. 印刷错误， 假设书中每一页都有 N 个印刷符号，它们有可能印错.全书共有〃 = 500页， 
r =50个印错的 符号， 证明 （ a ) 第1，第2,…，第/ I 页分别含有 n ， r 2 ，…，个印错的符 

号的概率等于 

C ) C ) …0/0 

( b ) 当 N 充分大后， 这个概率可以用 （5.3) 来逼近，并推出 r 个错误分布在 n 页的问题 
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近似于 r 个球随机地放入 77 个盒的问题.（注 意： 这个 可以作为费米一狄拉克统计 的一个 
普遍的极限性质.参见第 5 节 U). ) 

注意： 下面的习题与第 5 节的材料有联系. 

39. 若把 n 个不可分辨的第一类东西和 r 2 个不可分辨的第二类东西放入〃个盒中，试求可区 
分的排列总数. 

40. 把 n 个骰子和^个硬币一起扔一次，试问有多少可以区分的结果？ 

41. 把 n 个白球，「 2 个黑球，个红球进行排列，试问有多少种可以区分的排列方式？ 

42. 把52张桥牌随机排列，试问没有两张爱司紧邻的概率为多少？ 

43. 电梯.在 2.3 节例 （ c ) 中，在开始时载有7位乘客的一架电梯在10层楼的每一层都可作 
停留.这 7 个乘客下电梯的情况有各种各样可能的排列，例如我们用 （ 3,2,2) 表示有三 
个乘客在某一层同时出去，另外又有两个乘客在另一层出去，最后两个乘客在某一层一 
同 出去. 这种可能的排列从 （7) 到（1，1，1,1，1，1，1)共有 15 种，试求出对应于这 15 种 

排列的 15 个概率. 

44. 生日. 求出22个人的生 日的各 种不同情况的概率. 

4 5 . 如果一副扑克恰巧是下列事件之一，试分别求其概率： 

( a ) 最大同花顺 （ “10”， “ J ”，“ Q ”，“ K ”，“ A ” 为同一花色）； 

( b ) 四同点 （4 张牌的面值相 同）； 

(c) 满堂（有一对其余 3 张同面 值）； 

( d ) 顺子 （5 张牌的面值顺序连续，但不考虑花色）； 

( e ) 三同点 （3 张的面值相同与2张不同的 牌）； 

( f ) 两对 （4 张牌成两对与另外的一张牌）； 

(g) 一对（两张牌同面值与另外 3 张不同的牌). 

2. 11问题和理论性的附录 1 

1. 一个总体中有„个元素，其中有 nA 个红的、叫个黑的 ( p + q ^ D . 有放回地抽取大小为 
r 的随机样本_试证其中恰有々个红的概率为 

( li . i ) 

2. —个超几何分布的极限定理 • 如果”充分大，而且则由 （6.1) 和（6, 2) 所给 
出的概 率仏与 (11- D 很近似_更精确地说有 

(:) (广 ♦)*( 「宁 ) r k < qk < ( k ) pkqr ~ k ^ l ~^ ' <1L2) 

把它和前一个问题比较，则表明： 对大的总体来说，有放回的抽样和无放回的抽样在实 
际上并无什么区别 • 

3. 从一个拥有 n 个元素的总体中无放回地抽取一个大小为「的随机样本 _ 某指定的 N 个元 


1.从 （9.9) 出发可以 证明： ^ = C +(12 n )~ 1 -(360/7 3 )- 1 + — , 而（360« 3 广 1 后面诸项之和被厂 4 乘 
以常数所控制. 
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素全部被抽中的概率心为 



[对有放回的抽样来说，其对应的公式由 （11.10) 给出，它不可能由此直接推出. 
(11.3) 的另外一种形式，请参阅第4_ 6节习题 9.) 

4. 极限 形式. 如果 w — oo 和 r ^ oo 满足则(参见问题 13). 

注意 S 问题5—问题13与著名的占位问题有联系（麦克斯韦一玻耳兹曼统 计）： 也就 

是说， r 个球分布在 n 个盒中，这#种可能中每一种可能的概率都是 

5 . 某一个指定的盒中恰有&个球的概率 A 由二项分布 （4.5) 所给出 ♦ 最大可能的整数^满足 
( r — 7J + l )/ n <^<( r + l )/ n , (换句话说，它说明 p ^>< p \<… < Cpv -\< pv > pA \>…> p r • 


参见问题 15.) 

6. 极限形式_如果 72~- co 和 mco 使得每个盒中球的平均数 A = r / n 保持常数，则 

p k ^ e ^ X k / k \. (11-4) 

(这就是泊松分布，它将在第4章中讨论.参见问题16_) 

7. 令 A ( r ， w ) 为个盒中没有一个是空的可能分布的个数_用组合分析的推理证明 

A ( r,n + 1) = 20( r —是，”)， （11_ 5) 

k^\ 

并推出 

n 

A(r 9 n) — ^ (— 1 ) 

7J=0 

提示： 应用归纳法，假定 (11.6) 成立，并且以此表示 (11. 5) 中的 A ( r — A ， n )_ 交换求和 
的次序，并用二项公式将 A ( r ，《 +-1) 表示为两个单重和的差•将 （11.6) 式中^十1用一个 
新的求和指标代替并应用 (8.6). 

注意： 公式 (11.6) 是一个古典问题的理论上的求解，用它来直接计算概率是不方便的 _ 
例如，某一乡村有1900个居氏，用这个公式来算一年中每一天村里都有人过生日的概率 
就很麻烦*在第 4.2 节中，我们将用另一种办法推出公式（11*6)，并且得到一个简单 
的近似公式（对上面的例子来说， jt 近似地为 0. 135乂 

8. 证明恰有州个盒是空的可能分布的种数为 

n ― m 

E m ( r ^ n ) = ( ” ) AO ，/? — w ) = ( 打 ）^ (—1) 

9. 不用上面的结果来直接证明恰有 W 个盒是空的概率/^(〜70=72-^£^(「，”)满足 

p m (r+l,n)=p m (r,n) ~ ~ n (r,n) m ^. ( 11 . 8 ) 

10. 应用问题7和8的结果，用直接计算的方法来证明 (11-8) 成立.证明这种方法可以给出 
(11.6) —个新的推导（对 r 作归纳法) • 


( 71 m J ( v 一 m — v、 r . (11.7) 




n 


7 ) 


in — v) r . 


(1L6) 


1. 问题 5 — 19 在量子统计中，在摄影感光版的理论中，在 G ~ M 计数器等等中都有应用.因此，在物 
理学文献中这些公式都是经常讨论' 经常出现的，通常是没有把它们的重要的和本质的初等性质加 
以 抽象， 几乎所有的在这章开始时所引进的问题在惠特沃思 （ Whitworth ) 的书中都碰得到（虽然 

形式稍有不同). 
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11. 从问题8 推出： 等于或多于 m 个盒是空的概率 x m ( r ， 幻为 



(11.9) 


(当7/^72时，这个式子为0,这是意料中的事情 .） 提示： 证明 4( r ， W —^( r ，70=4 +1 ( r ，70. 
12, N 个指定的盒中，每一个都被占有的概率为 


由此断言 


r 

u(r^n) = rT Yi ( r 、 Aik ， N、 in m 




( 11 . 10 ) 


( 11 . 11 ) 


(应用二项式 定理. 对 N = n 我们有 = 注意： （11.11) 类似于有放回 

的抽样 1 的公式 （11.3). 另一个推导参见第 4. 6节习题 8.) 

13. 极限形式.如果换作问题4中的极限描述，我们有 — 

注意： 在问题 14 — 19 中， r 和7?的意义与以前一样，但是我们假定球是不可辨别的，而 
且全部可辨别的排列都是等概的（波司-爱因斯坦统计）. 

14* 某一个指定的盒中恰有々个球的概率为 


沿= 


r;=r 2 )/r: 



( 11 . 12 ) 


15. 证明： 当；7>2时，任何一个确定的盒中球的个数的最大可能的值为0,或者更精确地说， 

… (参见问题 5). 

16, 极限定理 .令 co 和 r ^ oo 使得每一个盒中平均的质点个数 r / r ? 趋于 A _ 于是 


A 走 

9 广 (1+ A ) 出. 



(右边称为几何分布 .） 
恰有 m 个盒是空的概率为 


pm — 


0 ( 





(11. 13) 


(11.14) 


18. 某指定的 m 个盒中的球的总数恰为々的概率为 


qj (m) 


0(” 




m+r — j — 1 


72 + 


r 




19. 极限形式.如果换作问题4中的极限描述，我们有 


(1L 15) 


(11. 16) 


(右边是在第6章第8节中引进的负二项分布的特殊情形). 


1•注 意： 〆 「，《)可以解释为当第 N 个元素加人样本时所需之等待时间小于 r 的概率_其结果可以应 
用到随机抽取数字 中去： 其中 w ( r ，10) — wO —1,10) 为长为 r 的序列中包含了由全部10个数字所构 
成的全集的概率 * 这个可以用来作随机检验 • 格林伍德 （ Greenwood ) (参见 [2 2 ]) 把这些分布列 
成一个表，并把它与一些真实的计算进行比较，这些计算是对应于 tv 的前 2035 位小数和 e 的前 
2486 位小数的等待时间.全部10个数字构成的全集的等待时间的中位数是 27. 这个等待时间超过 
50 的概率大于0, 05, 而等待时间超过 75 的概率大约为 0. 0037. 





2.12 二项式系数的一些问题和恒等式 49 




n — k 


( 12 * 2 ) 


更一般地\我们有 


0 (:=: 卜 (:)( 脱 


(12.3) 


3. 对于任何的 a >0, 都有 


( 7 ) 


(- 1 ) 


k 


a~\~k — 1 

k 


(12*4) 


4 . 


如果 a 是一个整数，这个方程可以由对几何级数 SV = (1 —: T 广 1 进行多次微商来证明. 
证明 


2n \ 
n / 


" 2 " = ( —1 )H 


n 


(12,5) 


j_ / 2n~2 \ 
n \ n —1 / 


2n+l — { _2 

n 


5* 


对于非负整数〃和 r 和一切实数 a 来说，都有 

" D = (：：!)-(；；：)• 



a 


v=0 


( 12 . 6 ) 


提示： 应用方程 （8.6). = a 的特别情形是经常用到的. 


6 . 对于任意 a 和整数 证明 


2(-1) 彳 

v^O 


a 

v 




ir 


a 


—1 \ 
n / 


(12.7) 


提示：应用方程 （8*6). 

7,对于正整数 r 和 A 来说，有 


/ v^~ k 一 1 \ / r~\~ k\ 

^ V 卜 1 / V ^ / 


( 12 . 8 ) 


( a ) 用（8_6)证明这个等式 •（ b ) 证明 （12.8) 是 （12,7) 的特殊情形 .（ c ) 用归纳法 
证明 （12.8) 给出第5节的引理的第一部分的一个新的证明_ ( d ) 证明 （12.8) 等价于 

沈 )=r u 


8. 


w 十 1 

在第6节中曾指出超几何分 布诸项 之和为 L 这说明对任何正整数心6, 〃来说都有 


(12. 8 a ) 


o)0 + (i)(A) + - + ( ： )(o)=r: 


b \ _ ( a^rb 


(12.9) 


9, 


10 . 


用归纳法证明之.提示：首先证明 （12.9) 对 a = l 和全部6都成立 • 

续上题，用比较方程 

a+tra+t) b =(i+t) a+h ( 12 . 10 ) 

两边 r 的系数的办法来更一般地证明： （12,9) 对任意(及任意整数 n ) 都成立_ 

应用方程 (12.9) 证明 


1. 读者回忆一下 （8.5) 的约定；如果 I ；跑遍全部整数，则 （12.3) 中的和中只有有限多项非0_ 
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"■ • , • ™ | 


2n 


( 12 . 11 ) 


11 . 应用方程 (12.11) 证明 


S 


(2n)\ 

vl)Hn-v) 


2n 


( 12 . 12 ) 


12. 证明： 对于整数 0< a <6 有 


a 


2(—1) 


a~k 


)( 


6 + ^ \ _ ( b 、 

b + l/ = \a-ir 


(12. 13) 


提示 ：应用 （12.14) 证明 （12. 11) 是 (12. 9) 的特别情形_此外，再比较 （1 —少 


(1-^) 


- 6-2 


— a — h—2 


(1-t) 


两边 r ™ 1 的系数. 


13 .从 （12.9) 用特殊方法推出恒等式 


(A)+-..0>( 


a 一 1 


(12, 14) 


和 


2<-^(：) rr )= c ：；) 


(12,15) 


对正整数 h n 和 r 都成 立. 提示： 应用 （12.14). 


14. 应用方程 (12.9) 证明 



a~\~ k — j — l \ /6 + 7 _ 1 

k-i ) V / 


a + 6 +是——1 


(12. 16) 


15. 


16. 


17. 


j 

提示： 应用方程 (12.4) 的左右两边并用 （12.10) (改变指数的符号) • 注意6=1，2的重 
要的特殊情形. 

和第 n 节中的问题联系起来， 注意： 方程 （11. 12)，（11.14)，（11_15) 和 （11,16) 都定义 
为概率.因此，在每一个方程中诸量之和为1_ 证明： 这些关系分别地被 （12. 8)， （12* 9)， 
(12. 16) 和二项式定理所蕴涵. 

从第11节问题7中关于 A ( r ，《) 的定义出发，可以 推出： 如果 r <«， 则 AO ，《) = 0， 而且 
Ain , n )^ n \ . 换句话说 

V (- l )-( w W =° 如果 r<W ’ (12. 17) 

fri ^kr n! 如果 r = n _ 

( a ) 用化”为 "一 I 的办法直接证明 (12.17). ( b ) 其次用考虑对 （1 — 在？ = 0 处 r 次 
微商的方法来证明 （12, I 7 ). ( c ) 从 （11_11) 出发而不从 (11.6) 出发来推广 (12*17). 

如果 0< N <〜 用归纳法 证明： 对每个整数都有 


(12. 17) 


k —0 


s (-ir C) (『汾 

if— 0 


(12. 18) 


18 . 


(注意：当 r </ V 和时，右边为0, ) 用考虑对/ 72 一〜（(一1)~在£ = 1处进行厂次微商的 
办法验证 (12. 18). 

用归纳法证明（应用二项式定理） 


⑺++… +( — 1)n_1 DX + X 


(12. 19) 


n-l 


用积分恒等式 


mr 1 的办法来验证 （12.19). 


19. 证明对任何正整数 m 都有 


2, 12 二项式系数的一些问题和恒等式 


(x + ^y + z) 


S a \b\c\^ yhzt ， 


( 12 . 20 ) 


20 * 


其中求和号是对全部满足 a + b + c=m 的非负整数 a ，6， c 来求和的_ 
证明 r ( a +1) =aT ( a ) 对一切 a >0 成立，注意 


(一 1) 


r(a+ 是 ) 

k \ Tia ) 


( 12 , 21 ) 


21 - 


证明对任何正整数 a ，6都有 

( a +1) ( a +2) 
(6+1) (6 十 2) — 


(a+Ti) 

(6+7?) 


( 12 . 22 ) 


22 . r 〜 函数的定义如下 


r (工） 


t . 


(12.23) 


其中: r>(X 证明 r ( o ') 〜 (27 t ) 1/2 e -^ 


am 


(注 意： 如果: r = n 是一个整数，则 rU ) 


23. 令 a 和 r 是任意正数，而 n 是一个正整数.证明 


a ( a + r ) ( a +2 r ) … ia + nr ) 〜 CV ^ 1 〆 +++,• 


(12. 24) 


24. 


[常数 C 等于 (27r) 12 /r(a/r)_] 
应用前面一个问题的结果，证明 


a ( a + r ) ( a +2 r ) 
b (6+ r ) (6+2 r ) 


(a+nr) 

(6+« r ) 


r ( b / r ) (a — b) 

T ( a / r ) 72 


(12.25) 


25 .用 （8. 10) 证明 




〈1 — ?~e ; 




(12. 26) 



第 3 章 1 扔硬币的起伏问题和随机徘徊 


这一章的内容偏离了本书的主题，它仅仅在第5章中重被提起.传统上，其材 
料被用作初等讨论并引出一些更为高等的理论.其方法简单，却能很快引导我们得 
到具有长远理论意义和现实重要性的结果.将要获得的理论结果不仅是想像不到的， 
而且能给直观和常识以很大的冲击，它们将 揭示： 一般人接受的关于随机起伏的概 
念是没有根据的，而且对大数定律的含义也有很大的误解.例如，在很多应用中， 
人们总假定：在一个很长的时段中对扔一个硬币的观察所获得的统计特性，与很多 
次独立博弈在某一给定的时刻所观察到的结果一样.这是不 对的. 用现时流行的述 
语说，我们得到一个 结论： 一个均匀的硬币的总体，其中大多数需要校正 • （直观的 
解释，见第 6 节和例 4. b.) 

本章的材料目前常用分析的方法来处理，因而其结果显得很 高深. 后面将用初 
等方法 2 , 它将说明组合方法是一个新的强有力的方法的例证.其结果是本书的续篇 
第二卷将要讨论的一类广泛的起伏现象的一个漂亮的 代表. 全部结果都将重新用不 
同的方法独立地推出.因此，这一章主要为这两类读者服务：一类是不急于涉及系 
统理论的 读者； 另一类是不要求细节而仅仅对概率论的精髓感兴趣的读者.对其他 
的读者， 比较- 下不同的方法也是有益的.因此， 读者应将这一章独立地或平行于 

本书其余的内容来阅读. 

3.1 一般讨论及反射原理 

按正式的观点，我们考虑有限个加号与减号的排列.考虑个符号 ei ， …， 
e „ ，每个符号代表十1或 _1 ，而且其中恰有 P 个加号和 g 个减号 • 部分和〜+… 
代表前面&个位置中+1的个数与一 1的个数的差.于是 

s k —〜―5 0 — 0, s n = p —<?， （L 1) 

此处々=1，2,…， n . 

我们将用几何术语和直角坐标来描述问题，为确定起见，用 卜轴表 示水平 
轴（横轴）， X - 轴表示垂直轴（纵轴).排列 ( ei ，…，€，,)将用一条折线来表不’其第々 
条边具有斜率 Q ， 其第 &个顶 点具有 坐标〜 称这种折线为^路径” • 


1. 这一章可以略去，或者和下面几章结合起来读，在第10章（大数定律)，第11章（初过时间），第13章 
(事件)，第14章（随机徘徊）中都将要参考本章的内容 • 不过，后面没有明显地用到这些内容. 

2. 该初等方法的发现，是本书第二版 （19 S 7 年）收进这一章的主要动机.现在这第三版是新的，它 

大大地改善了这一章，因为它避免了各种组合技巧. 
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定义令 n 〉0 且 n 和 X 都是整数.一条从原点到点 （77， X ) 的路径 (5。，力，…， 
S n ) 就是一条满足下述条件的折线：它具有横坐标0,1，…，71和纵坐标5。 ， Si ，…， S ri ， 
且其纵坐标满足 （L 1) 式和 = i 

我们称 n 为路径的长度.长度为《的路径共有条.如果&中有/>个正的 g 个 
负的，则 

n=p J rq^ x=p~q. (1.2) 

只有当《和工满足 （1.2) 式时，从原点到 （ n ，: r ) 的路径才存在 • 在此场合，正 o 
所处的 P 个位置可以从《 = 个位置中任意挑选，共有 

^) = d (1.3) 

种不同的 选法. 为方便起见，当《和上 不满足 （1.2) 式时，定义在这个约 
定下，从原点到任意一点（《， x ) 都恰有况^条不同的路径， 

在我们回到本章的主题——随机徘徊以前，先讲《个应用的 例子. 

例 （ a ) 选举问题.下面的有趣的命题是惠特沃思 （ W . A . Whitworth ) 于1878 
年证明的，其后在1887年伯特兰 （J. Bertrand) 也证明了此命题. 

假设在一场选举中，候选人 P 获得 P 张选票而候选人 Q 获得了 张票，此处 
那么，在整个的计票过程中， P 的得票数总是比 Q 的得票数多的概率是 ( P — gVM + g ). 
在选举问题的名称下，类似的排列问题曾经引起过研究组合分析的学生们的兴趣.组合 
方法近年的兴盛，提升了他们的名气，而且很多重要的问题可用各种广义的选举问题来 

重新描述 [23] . 



图 3-1 正路径示意图，该图还 说明： 从原点到（2«，0)的严格正路径的条数与从原点 
到 （2w~2,0) 的非负路径的条数完全 一 样 



计票全过程的记录可以用一条长度为的路径来表示，其中 o = + l 表示第是 
张票投给了候选人 P ， 反过来，每一条从原点到点 (P + q.p — q 、 的路径，可以解释 
为一个总票数为的一个投票过程的记录.显然， A 是第々 票计算过后，候选人 

P 领先或落后的票数.候选人 P 在整个计票过程中恒领先当且仅当\ >0,…，&> 0 , 
即是所有的顶点严格地在轴上面.（图 3-1 中从◦到况的路径就是这类路径 •） 
选举定理默认所有的路径都是等可能的.于是此结论化归为本节末尾将要证明的 
“反射引理”的一个直接推论_ 

( b ) 高尔顿 （ Galton ) 的秩序检验 [24] . 假定某一个量（例如植物的高度）对”种处 
理过的项目的每一种都测量一次；对 r 种控制的项目的每一种也测量一次 • 令这两组 
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测量值分别为叫，… ，〜和 &，•••，&.为确定起见，每一组都按递减 排列： fll > a 2 > …和 
fh > b z > … (为避免不足道的繁琐，假定没有两个观察值是相等的).现在，我们这两 
个序列组合成1个长为的下降的序列.对于一个极端的情况，应该是所有的 a 


都在6前面，而一般情况应该是所有的《和所有的6是随机排列的.因此，处理的效率 


可以用同一行中 a 在6前面的个数来判断，这就是说，用满足条件〜>仏的下标々的 
个数来判断.高尔顿在1876年第一次用了这个想法，而他所使用的数据是达尔文 
( Darwin ) 提供的.当时所取的 r = 15,其中 a 有13次在6的前面.缺乏概率知识的髙 

尔顿 断言： 处理是有效的.但是，如果假定有充分的随机性， a 在6前面的次数大于或 
等于13的概率是 3/16. 这就意味着，对完全无效的处理而言，在16次试验中会出现 
3次让高尔顿认为处理有较好的效果的 场合. 这就 证明： 定量分析对不可靠的直观判 
断，是一种有价值的补充. 

如果用路径的术语来解释，若组合的序列中的第々项是一个 a 则记^ = + 1，是 
一个6则记^ = 所获得的是一条长为 2 r 的联结原点与卜轴上的点 (2 r ,0) 的路 

4圣.事件当且仅当 52 fc — 1 至少包含々个加号才发生，即是 ^^>0. 这推出 

因而第2々一 1和第汉条边都在轴的 上方. 由此 推出： 〜>匕成立 I 次当且 

仅当 2 t ； 条边在 t - 轴的 上方. 在第9节中我们将要证明一个意想不到的结果，那就 
是： 这个事件的概率为 l/(l + r )， 它与^无关.（基于连贯理论而与此相关的检查， 
请参见第 2. 6节 b .) 

( c ) 科尔莫戈罗夫-斯米尔诺夫 （ Kolmogorov - Smirnov ) 检验.考虑生长在不同地 
区的同一生物类（动物或植物）的两个总体，或者比较两种相似的机器的产品.为 
了确定性，我们只考虑一个可测量的特征量，例如高度、宽度、厚度等.这两个总 
体中每一个都有由 r 个观察值组成的 样本： 〜，…， 〜和 &，•••，&.粗糙地说，问题就 
是： 这些数据是否与“两个总体在统计是恒等的”这一假设相符合.用此方式提问 
题，虽然较为含糊，但是，为了我们的目的，并不需要讨论现代统计理论的更精确 
的陈述，只需说明检验是基于比较两个经验分布就够了.对于每一个^定义 A “)为 

分数+， 其中& 是满足〜</的下标纟的个数 1 ，称这个定义在实轴上的函数 AU ) 为 

{叫}的经验 分布. 类似地，我们可以定义丨的经验分布丑“).斯米尔诺夫在1犯9 
年首次用精确的数学理论推出了：差 lA ( i ) —的最大值的概念 分布. 还推出了另 
外一些量的概率分布.这些结果可以用来检验前述 假设. 这个理论是较繁难的.格涅 
坚柯 （ Gnedenko ) 极大地简化了这一理论并使之更加 直观. 他的主要思想是把这个问 
题与路径的几何理论联系起来.在前面的例子中，我们曾把两个样本与一条从原点到 
点 （2 r ，0) 的路径联系 起来. 说两个总体是统计地不可区分的，和说抽样试验中所有 


1. 原著在此把主误写为土，且对经验分布的叙述亦不甚清楚，译者在此作了订正.-译者注 

r n 
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可能的路径都是等可能的是一样的.因为 易见： 0(?)—5(0丨>$对某个/成立等价于 
kl > 軟对某个纟成立.这个事件的概率就是一条长为 2 r 的从原点到点的路径 
不能被界于士^的区间所控制的概率.这个概率早就知道了，因为它与随机徘徊中的 
破产问题和具有吸收壁的扩散中的物理问题有联系（参见 3. 10节习题 3). 

此例超出了本卷书的范围，但它说明随机徘徊能用到完全不同类型的问题中去. 

( d ) 理想的扔硬币游戏与它和随机过程的关系. 一条长为《的路径可以解释为连 
续扔几次硬币的理想的试验的记录.如果+ 1代表正面，则〜等于（正或负）第6次 
试验完毕时正面超过反面的累积数.古典的描述是虚构 一 个赌徒彼得，他在每次赌 
博中要求赢1元或输1元.序 列力， &，…， s ,, 代表彼得的连续的累积纯利.我们将会 
看到： 它们将被纳入具有意想不到的性质的随机起伏理论中去. 

赌博的形象性语言不应损害扔硬币模型的重要性.事实上，这类模型可以作为 
许多更复杂的模型的初步逼近，这些模型有：物理中随机相依的过程，经济学，教 
育学，……等等.许多量，例如物理质点的能量，个人的财富，坏人被教养的累积 
时间，……等等，由于连续的碰撞或某种随机的干扰，它们都是变化的.作为初步 
的讨论，假定每个个体变化的量值是一样的，但其符号由扔硬币的博弈来决定.更 
精细的模 型是： 从一次试验到另一次试验，其改变量和相应的概率都在变化.对此， 
甚至是简单的扔硬币的游戏模型，都可得出令人惊奇和震惊的结果.它们的现实重 
要性 在于： 它们证明了与通常被接受的观点相反的事实.通常的观 点是： 控制某组 
个体观察值的延拓序列的法则将表明，由观察值得到的性质和均值将与由总体得到 
的这些性质有很大的偏差.换言之，现在流行的心理学的检验会导致人 们说： 在一 
个“均匀的”硬币的总体中，许多硬币都是“铸造不良的”. 

扔硬币中的随机起伏是更一般的具有累积影响的随机过程的典型.如果连简单 
的扔硬币的博弈都会推出一些与直观不符的含糊的结论，那么，有理由认为，直观 
在处理复杂的问题时不能做可靠的指导. ► 

令人惊奇 的是： 许多重要的结论可以从下面的简单引理推出. 

令 A = U ， a ) 和 B 二 （6，辦为正象限内的 整点： 6> a ^0, a >0,/?>0. 点 A 关于 
x 轴的反射点就是点 A ' zU ，一/) (参见图 3-2). 从 A 到 B 的路径的定义仍如 3.1 
节，不过这里 A 点相应于那里的原点. 

引理 1 2 (反射原理} 从 A 到 B 的路径中触到或者穿过 x 轴的路径的个数等于从 
A ' 到 B 的路径的个数. 


1. 原著在此误写为 (0,2广)， 应为 (2 r ,0). ——译者注 

2. 反射原理有不同的应用方式，但无几何解释，以一种精细但费解的面貌出现.概率文献中认为此为 
安德烈 （ Andre ) 1887年所得.在第 14. 9节的随机徘徊的差分方程中还会出现.它与某些偏微分 
方程有联系，那儿把反射原理作为映象法来使用.它是麦克斯韦和开尔文勋爵所提出的.关于重复 
反射的应用，参见本章习题2和 3. 
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图 3- 2反射原理的示意图 

证考虑一个从 A 到 B 且在 f 轴上有一个或一个以上的顶点的路径丨〜=«， 
Vh ，._•，&==/?}.令 r 为第一个这样的顶点的横坐标（参见图 3-2). 也就 是说： 选取 
t ， 使得& >0, 因此， {— 5 a »— s a +l »***» _ ^-1 >^=0,5^1 ,5 f+z ,--,5*} 
是引导，到 B 的路径，而且了= (i，0) 是它在 f 轴上的第一个顶点.折线 AT 和 
A' 丁互为反射，从而所有从 A 到 B 的有一个顶点在 t 轴 1 上的路径与全部从 Y 到 B 的 

路径之间存在一个 一一 对应 • 这就证明了我们的引理. ► 

作为一个直接的推论，我们证明例 U ) 中所讨论的结果.这可作为这一章全部 

理论的出发点. 


选举定理令”和: r 都是正整数.恰有立 iV ^ 条从原点到点（”， * r ) 的满足条件 


心>0,…， s „>0 的路径 （ s ” …，^ ? = x ). 

证 显然，合乎定理所要求的路径的数目与从 （ i , i ) 到（《，^)的既不触到卜 
轴又不越过轴的路径数相等.由前述引理得知：这些路径数等于 


N 




n~ 1 ， : r+1 




此处户和 g 如 （1,2) 式所定义.用惯用的算法可证上式右方等于 <?)/(/>+ 叭 
定理证毕. ► 


3.2 随机徘徊的基本记号及概念 


我们将要用理想的（或均匀的）扔硬币的博弈来描述随机徘徊中的 术语. 随机 
徘徊具有很强的直观魅力并易于推广.正如前面的例子所解释的那样，当一条路径 
U ，…， Sp ) 代表连续扔|0次硬币的记录时，部分和& ，…， s p 就代表连续的累积获利. 
为了几何描述的方便，假定扔硬币是匀速进行的，因此， 第”次 扔硬币发生在第打个 


1. 原书此处为 I - 轴，应为 r 轴，原作者这类笔误，下面还有一些. 


译者注 
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时刻 ( epoch ) 1 . 连续的部分和〜，…，〜将作为点标记在垂直的轴上，称它们为 

“质点”作随机徘徊时所处的位置.注意质点在直线上每次都只移动一步，向上或向 
下.一条路径代表了此类运动的一个纪录.例如，图 3-1 中一条从 O 到 iV 的路径代 
表了一个走了 6步的从原点出发又回到 O 的随机徘徊. 

每一条长为 p 的路径可以解释为一个随机徘徊的试验的一个结果，共有2〃 条这 
样的路径，每一条赋概 2〃. （第14章还要引进另外的赋概方法，为了与其他的区别 
起见，现在的随机徘徊称为 对称的 . ） 

其样本空间的概率已经确定了，但是由于数目^未定，所以仍留悬念.为了看岀 
它扮演了什么角色，让我们考虑路径经过点 （2,2) 这一事件.前两步必须是正的， 
而且这种路径共有2〃 2 条，因此如不考虑^的数值，此事件之概率为 1/4. 更一般地， 
对任意一个々可以任意限定最初的6步，而且恰有条路径满足这6个条件. 
由此推出由前々步 ik 《 p ) 决定的事件的概率不依赖 户因此，在实践中，当^0充分 
大后，它并不起什么作用.换言之，每一条长为《的路径可以取作一条非常长的路 
径的首段，并且不需要指明后面一段的长度.无论从形式或结果来看，研究没有终 
点的试验序列是非常合适的，但这要求不可数的样本空间.因此，后面我们仅仅要 
求： 构成样本空间的路径的长度^大于在我们的公式中出现的步数.除此以外，不仅 
允许而且乐意忘掉 p 

为了后面一般理论的需要，引进一些记号.用足，不，…表第1，第2步的结果， 
& ， S 2 ，…表质点的位置.于是 

S n = X ^ - hX n » So =0. (2. 1) 

从每一条路径，可以读岀全部相应的足， x 2 , …的值，也就是 说兄是 路径的 
函数 2 .例如，对图 3-1 中的路径， ^= X 2 = X 4 = 1， X 3 = X 5 = X 6 = -1. 

我们可以通过加条件于和上把全部事件描述出来.事件“在时刻《，质点处 
于位置 r ” 可以表示为 { S „ = r }， 记它的概率为 A t , r . (用流畅的语言说，在时刻” 
“访问” r .) 从原点到点的路径数 JV n , r 由公式 （1.3) 所给出，因此 

n 

P^r = P [ S 7 = r ) = n±T 2~\ (2.2) 

此处，当 (〃+ r )/2 不是 0 到？ 2 之间的整数时，二项式系数理解为 0. 

当&=0时，称质点在时刻 A 返回到原点， 此处々 必需为偶数，而且当 々 = 2 v 
时，其返回原点的概率为因为此概率经常出现，我们记之为因此 

1. 根据赖尔登 （ J . Riordan ) 的说法， epoch —词用以表示时间轴上的一个点，本书用 epoch —词想以 
此区别其他书常用的表示时间的词[诸如 （ moment ) 时刻、 ( time ) 时间、 （ point ) 点].数学上时 
间一词用以表示区间或时段_做物理实验可能占用时间，但是在扔硬币的试验中无时间性，本书仍 
以人们常用的词汇时刻来对应 epoch 一词. 

2. 若用第9章中引进的术语来说，厶就是“随机变量”. 
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«2 



(2.3) 


当二项式系数表示为一些因子的乘积时，由第2章公式 （9.1) 直接 可证： 

w 2t ) (2. 4) 

V TZV 

此处，〜表示当时上式两边之比趋于1，甚至当 U 适度大时，上式右方都是一 
个非常好的逼 近 1 . 

要特别注意 第一次返回原 点时的诸项.第一次返回原点发生在时刻21；当且仅当 

Si/O, …， S2H 尹0,但 S 2 „=0. (2. 5) 

记此事件的概率为 / 2 v . 由定义知/。=0. 

概率/^与 M 2 v 有值得关注的 关联. 在时刻加访问原点，可能是第 一 次，也可 S 巨 
第一次访问原点在 2々<2 w 而在其后的 2 z ；_ 找个时间单位内再次访问原点.由于有 
条长为汉的终点为第一次返回原点的路径，有 2^ 2 、 2 p 2/ t 条从点（2々，0)到 
(2 u ，0) 的路径.因此 

M 2 v = /2M 2 ^ 2 +/ 4 M 2 广 4 +… +/ 2v W 。（ 2. 6) 


(参见 3. 10节习题 5.) 

正态逼近.公式 （2.2) 并没有给出 S„ 落在哪个区域的直接线索.此问题的回答要借助 
于正态逼近，它是中心极限定理的特例，我们将在 7. 2节中证明之 2 . 

a < S „< b 的概率，可以通过把概率对一切界于 a 和6之间的 r 求和而得到. 

为此，只需知道一切形如下面的不等式 S „> a 的概率就行.这样一些概率可以以下 
面的逼近式估计出来：对一切工，当 n — oo 时有 

P{S„>xV^} —1-^(^) = - 7 =^ [°° e- 2 , 2 dt , (2.7) 

v27T J J 

此处況是 7.1 节中所定义的正态分布函数.为了当前的目的，我们并不对其性质特 

别感兴趣. （2.7) 中的极限存在说明了一个重要的 事实： 对于大的 《， s „/ ▲的概率被 

同一个概率所控制，因此，对一切 大的〜 S „ A / G 可以用同一个逼近值. 

表 3- 1 描述了 S „ 的一些可能的值域.在第7章表 7- 1中将给更多更好的值. 


表 3-1 Sn 的一些值域 


X 






■BH 

P { S n > x ^} 

warn 

^Di 

■BH 

warn 

mmM 

^Di 


1. 对真实值为 W1G = (X 2461, 其逼近值为0.2523，对叱0 = 0. 1762，其逼近值为 0. 1784其百分误差 
大致以位置^的倒数下降- 

2. 下面所要求的特殊情形，在 7. 2节中单独处理，它不涉及一般的二项式分布.证明是简单的，可以 
放在这里. 




3.3 主要引理 


正如我们已见到的，初次返回原点在时刻 2 i ； 的概率由 （2.3) 所给出.作为 
随机徘徊的起伏理论的开始，就给出一个惊人的 事实： 几乎所有的公式都含有此概 
率.此事实的理由之一是基于下面的引理.它的重要价值一是由于它本身的作用， 
二是为下一节中的更深刻的定理提供一个关键的技巧. 

引理 I 1 在时刻〜以前（含 2 n ) 从未返回原点的概率等于在时刻 2 n 返回原点 

的概率，用符号来写，即是 

F { S 1 ^0,-*-, S 2 „^0}= P { S 2„=0}= M 2 n * (3. 1) 

当然，此处 w >0. 当左边的事件发生时，或者所有的 S , 都是正的，或者所有的 S ; 
都是负的_此两种情况是等可能的，所以我们可以把 （3.1) 重新表 示为： 




(3.2) 


证考虑 S 2 „ 所可能取的一切值，易见 


P { Si 〉0 ’ …， S 2„ 〉 0} ~ 〉: i 3 { Si 〉0，…， S 2„~ i 〉0 ’ S 2„ = 2 r } (3_3) 

(此级数中对 r >« 的项皆为 0). 由 k 举定理，满足右边的条件的路径数等于 

.2 H -1 ) 从而上述级数的第〃项等于 

1 

2 ^ Pzn— 1 *2r- 1 Pzn—\^2i ^- 1 ^ * 

第 r 项负部与第 〃十1 项正部正好抵消，于是（ 3 . 3 )式中的和化为容易验 

证九引理证毕. ► 

此引理可用多种方式陈述，例如 

F { S 1 ^0,-, S 2 „^0}= u 2 „. (3.4) 

确实，一条长的其一切顶点都严格地在 I - 轴上方的路径必过点 (1,1). 取此 

点做新的原点，可得到一条长为2«—1的其一切顶点在新的工-轴的上方或落在工-轴 

上的路径.因此， 

F { S 1 >0,-, S 2 „>0}= yP { S 1 ^0,-, S 2 „_ 1 >0} (3.5) 

但是 S 2 „— !是一个奇数，因此蕴涵了 S 2 „>0, 从而 （3.5) 右边的概率与 
(3.4) 中的概率相等.所以（3. 4 )成立.（参见 3. 10节习题 8.) 

引理1直接导出初返原点的分布的一个精确表达式.说 “ 一次初返原点发生在 

1. 此引理明显地来自母函数的形式，[参见第11章 （3,6) 式]并指出过其重要价值.发现 
它的重要意义是最近的事.此引理的几何证明可参见 3. 10节习题 7. 
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时刻2/7” 等价 于说： “条件 



对々 = 1成立但对 k = n 不成立. 

”由 （3.1) 这意 味着： 


fin = U 2l 

常规计算可化此表达 式为： 

7 _2 — , n=\ 

(3. 6) 

因此，证 明了： 

r 1 

l2ft 2” 一 1 ⑽， 

(3_ 7) 


引理 2初返原点发生在时刻2«的概率由 （3.6) 或 （3.7) 所给出. 

由 （3.6) 推知/ 2 +/ 4 +〜=1.用扔硬币的术语来说，只要游戏进行的次数充 
分多，实际上是运气均等的.除了进行非常多次的游戏偶然会出现意外以外，这与 
直观背景是符合的.例如.扔100次硬币，出现运气不均等的概率大约为 0.08. 

3. 4末次访问与长领先 

现在，为随机徘徊中的随机起伏的性质的分析作一点准备.结果是令人震惊的. 
根据被众人所信服的所谓平均原理，在一个很长的扔硬币的游戏中，每一个游戏者 
居胜方的次数大约占一半，且领先不会经常由一方转到另一方 • 因此，想像有一个 
很大的样本，它是由多个扔均匀硬币的游戏的记录所构成，而且每一次游戏都扔⑸ 
次硬币.我们随机地选取一个，观察它最后一次平局（或和局）发生的时刻（换言 
之，即最后一次使“累积成功次数等于累积失败次数”的那一次试验的次数).此数 
必为偶数，记之为2 纟 （所以领先经常变化蕴涵了纟相对地很接近《，但这是 
不对的.确实， 下一个 定理揭示了一个令人吃惊的 事实：々的分 布是对称的，即是是 
取某个值的概率与 〃一 6取此值的概率是一样的.特别地，此对称性蕴 涵了： 不等式 
灸>«/2与 A < W /2 的可能性是差不多的\ 如果不考虑游戏的长度，和局发生在游戏 
的下 半段的概率为 1/2,而且靠近于终点的概率 最大. &最可能取的值是两个极端， 
即是0 或〃. 这些结果 说明： 直观对随机起伏造成的影响产生了错觉.下面几个数值 

的结果将要说明这一点. ^ 

例 （ a ) 假定有很多个扔硬币的游戏在统一的指挥下同时 进行. 规定每秒钟进行 

一次，而且日夜不休止地进行一整年.平均来说，从10场游戏中抽取1场，最后一 
次和局发生在第9天以前，而且在此后的356天中领先不再发生 变化； 从20场中抽 

取1场，最后一次和局出现在2+天 以内； 从100场中抽取1场，最后一次和局出现 
在2小时10分钟以内. 


1. 是的分布的对称性，是由计算机实验模拟所发现的，而且是在不知 A 的确切分布 （4.1) 以前，理 
论也证明了々的分布的对称性 * 参见 [25], _ 
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( b ) 假定在一个为期一年的教育实验中，有一个小孩除了第一个星期以外，功课 
一直落后，而另一个小孩，除了最后一个星期以外，功课一直领先，我们能否判定 
这两个小孩的能力是一样的？还有，将11个小孩送到一个教育机构进行学习，不凭 
才智而仅仅是随机选取.这11个小孩中有一个除了某一周以外，他在全组是学习领 
先的，另一个除了某一周以外，他在全组是最落后的. 

々的可能值的确切的概率由下述定理 给岀： 

定理1 (最后访问的反正弦律）在时刻 2« 以前（含 2;?) 最后一次访问原点的 

时刻在2々的概 率为： 

a 2 k ,2 n = ^ U 2 kU 2 n --2 k ^ ^ = 0,1, •••,«. (4.1) 

证考虑满足下述条件的 路径： S 2 ,=0, 但 Su +^ O , …， S 2 „/0. 其前找个顶点 
可以有 2 2 ~ 2 A 种不同的选法.取 （ M ，0) 作新原点并用 （3.1) 我们 发现： 后面（2«— 
2 k ) 个顶点有种不同的选法.除以2 2 ”可得 （4.1). ► 

由此定理得知，把数 （4.1) 对 々求 和和为 1. 赋权吻, 2 „于点以上的概率分布称 
之为 n 阶的离散的反正弦律，因为反正弦函数对它提供了一个非常好的逼近.此分 

布是对称的，因为 02k, 2n • Zk,2n • 对;?其三个值为音，|，音；对 w =10, 参见 

表 3-2. 中心项总是最小. 


表 3-2 10阶的反正弦分布 


■ 







a2k,20 

mm 

0. 0927 

■a 



0, 0606 


下述函数给出了反正弦分布的主要性质一个很好的 解释： 

fU)= — 1 0< X <1. (4, 2) 

7t v — 了） 

由斯特林公 式知： 除了《很小以外，〜很接近 l / v ^， 这给岀了逼 近式： 

» Xk = ^' ( 4 . 3) 

除了 々极 端靠近 0 或 n 以外，误差是可以忽略的.右边等于高为 /( A )， 底为以心为 
中心的长为 1/" 的区间构成的矩形的面积（参见图3 3). 对于 0</>< g < l 和大的 
n , 满足 pn <k <qn 的概 率心, 2 „的和渐近地等于/的图形下面和区间 P < Jc<q 上面 
的面积.对于 p =0 和 g = l 的剩下的情况也对，因为图形下面的总面积和一切咖, 2 „ 
之和都是 1. 幸好， （4.2) 可以精确积分，因此，对固定的 0< x<l 和充分大的《， 

渐近地有： 


y]d2k,2n 々 

k<^.xn 



(4*4) 
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图 3-3 fix )- —, 1 - • • 的图形，其结构解释 (4. 3) 的逼近 

re /x ( 卜 X) 

注意： 右边不依赖《，这意味着对大阶数的反正弦分布，表 3- 3 都对.（实际上对相 
对小的《，逼近也很好 .） 

表 3-3 连续的反正弦 分布： AU )=+ arcsin 7^ 

K 


X 

A(x) 

X 

0_00 

0.000 

0.20 

0.01 

0.064 

0, 21 

0. 02 

0. 090 

0. 22 

0.03 

0. Ill 

0、 23 

0. 04 

0. 128 

0, 24 

0.05 

0* 144 

0, 25 

0. 06 

0, 158 

0. 26 

0. 07 

0. 171 

0. 27 

0.08 

0. 183 

0* 28 

0. 09 

0, 194 

0. 29 

0. 10 

0. 205 

0. 30 

0, 11 

0. 215 

0. 31 

(X 12 

0. 225 

0.32 

0. 13 

0. 235 

0.33 

0. 14 

0*244 

0. 34 

0. 15 

0* 253 

0. 35 

0. 16 

0* 262 

0. 36 

0. 17 

CK 271 

0. 37 

0, 18 

0. 279 

0. 38. 

0. 19 

0. 287 

0. 39 


A(x) 

X 

A(x) 

0. 295 

_ (X 40 

0.236 

0. 303 

0,41 

0.442 

0. 311 

0.42 

0.449 

0.318 

0.43 

0, 455 

CL 326 

0. 44 

0, 462 

0. 333 

0. 45 

0,468 

0. 341 

0. 46 

0.474 

0. 348 

0. 47 

0.481 

0. 355 

0. 48 

0.487 

0. 362 

0. 49 

0*494 

0. 369 

0. 376 

0. 383 

0. 390 

0. 396 

0, 403 

0. 410 
0.416 

0. 423 
0.429 

0-50 

■ ■ ■ — .. _ ■ ■ ■■ 

0, 500 
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我们发现，与人们常见的想法相反，在一个很长的扔硬币的游戏中， 一 方几乎 
在全过程中处胜方，而另一方处败方.下一个定理将要 阐明： 同样一个现象，不过 
用的方法是对质点落在正的一边的时间与总时间的分数的分析.人们直观觉得这个 

分数非常接近丁•+，然而反面结论才是正确的，接近+的可能性最小，反而々= 0或 

n 这两种极端情况的可能性最大.由于定理再一次包含了离散的反正弦分布 （4.1) 

(在第8节中还要出现两次以上），所以其分析是简明的. 

定理2 (占位时的离散的反正弦律）在0到 2" 的时间区间中，质点处于正方2 是 

个时间单位，处于负方 2 n ~ 2 k 个时间单位的概率为 

(处在正方的总时间必须是偶数 .） 

推论 1 给定 0< x < l . 当？ co 时，质点处于正方的时间单位小于等于 m 而处 
于负方的时间单位大于等于（1—工)”的概率趋于 *^arc sinv ^. 

7T 

例 （ c ) 从表 3- 2中可 看出： 在20次拋掷中，领先从未从一方转到另一方的 
概率大约为 0.352. 幸运的游戏者领先次数大于或等于16的概率为 0.685 •(当 
jr =4/5 时，从推论所获得的近似值是 0.590.) 每个游戏者都领先10次的概率只 
有 0. 06. 

(出取《'很大，质点处于原点同一边的时间占 97 . 6%的概率为 a 20. 从10个个 

例中取出一个，质点有 99. 4%的时间处在同一边 • 

( e ) 在例 （ a ) 中，每秒钟扔一次硬币，一直扔365天.下列附表给 出了： 一个不 

走运的游戏者，以概率夕使其领先的总时间小于 

p t P p h 


0.9 

153_95天 

0*3 

19* 89天 

0_ 8 

126_ 10天 

0, 2 

8. 93天 

0. 7 

99_ 65天 

0. 1 

2_ 24天 

0. 6 

75. 23天 

0. 05 

13.5 小时 

0, 5 

53. 45夭 

0. 02 

2. 16小时 

0* 4 

34. 85天 

0, 01 

32. 4分钟 


定理2的证明考虑固定长度为的路径并令心^表示恰有2々条边在轴上 


1. 利维 （Paul I ^ evy ) [Swr certains processus stochastiques homeghws »Compositia Mathematica , VoL 7(1939)’ 
pp . 283-339] 找到了布朗运动的反正弦律，而且也联系了扔硬币的游戏 • 关于相互独立的随机变量序列 
的正部分和的个数的更一般的反正弦极限律是由厄尔多斯 （ P . Erdos ) 和卡克 （ MKac ) 所证明的[见 
BalLAmenMathSoa ， Vol 53(1947)， pp . 1011 —1020]. 当时，反正弦极限律的广泛应用是不可思议的. 
当安德森 （ SP . Anderson ) 惊人地 发现： 相互独立的随机变量的和的起伏理论的许多方面都有纯组合的 
特性时，他把整个理论进行了改造 • [见 ： Mathematica Scandinavica , VoL 1(1953), pp * 263—285 和 VoL 2 

(1954), pp . 195—223.] 原始证明很复杂，但他们打开了新的研究道路，现已变得颇简 单了. 定理2最初 
由钟开莱与费勒用复杂的方法证明的.[见本书第一版第12章第 5- 6节,]定理1是新的 • 
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方的概率.我们要 证明： 

^2 k ,2 v ~ azk ,2 v (4. 5) 

由 （3.4) 知= 利用对称性也有 6 Q , 2t; = M 2 „. 因此，只需对1来证 

明 （4. 5) 就够了. 

假定在个时间单位中，恰有2々个时间单位落于正方，— 1. 在此情况 
下，初返原点的日期必发生在某一日期以<2«，而且还有两种可能.第一，直到初 
返原点的 2 a ■个时间单位以前都在正的一边，在这种情况下，— 1而且此路径 
在顶点 (2 r ,0) 以后的那一段还有 M — 2^•个边在坐标轴的上方.显然这类路径的总 

数为 | • 2 2 J Zr • 2^ b Zk . Zr , 2 n ^ r . 另一种可 能是： 到初返原点以前的心个时间单位以 

前都在负的一边，在这种情况下，此路径在顶点 （2 r ,0) 以后的那一段恰有找个边 

在坐标轴的上面，由此 n — 这类路径的总数为： - y 2 2 r /2 r * ^ ln ~ Zr bzk .2„~ zr > 因此 


当 一 1时: 


k 


71—k 


b 


2k ^2n 


S/0 


2k—2r^2n-2r 




2k*2n—2r* 


(4.6) 


=1 


现在用归纳法来证明 （4.5). 当 z ;= l 时 （4.5) 显然成立_假定 （4.5) 对1<"一1 
成立.贝 IJ (4.6) 化为： 


k 


n~k 


h 


2k*2n 


U 2n~2k E/2 r U 2k-2r 




U 2k 


S /, 


r^2rr~2k—2r 


(4.7) 


由 （2,6) 知第一个和等于 w 2 A ， 而第二个和等于处因此 (4. 5) 对也成立. 
[关于反正弦律的一个似是而非的结果含于第 I 4 . 9节习题 L ] 


3. 5符号变换 


随机起伏的理论研究，使我们遇到许多似是而非的东西.例如，人们自然地期 
望： 在一次长时间的扔硬币的游戏中，领先的变化次数应粗略地与游戏时间的增加 
而成比例地增加.在一个游戏中，如果时间延长至二倍，通常人们会认为游戏的一 
方领先的次数也增至二倍，但这是错误的.我们将要精确地 证明： 》次试验中领先变 

化的次数的增加仅随 I 而变.在 ioo « 次试验中，人们只能 期望： 领先变化的次数约 
10倍于《次试验中领先的变化次数.这再一次 证明： 界于两次和局之间的等待时间 
是很长的. 

再转而用随机徘徊的术语.说一次符号变换发生在时刻《，如果和 s „ +1 具有 
相反的符号，即是说，路径穿越坐 标轴. 在这种情况下，氏= 0，因此， W 必须是偶 

(正的）整数. 




此节在后面并不明显地引用. 
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定理 I 1 直到时刻2^+1为止符号变换的次数恰为 r 的概率等于 

2/>2 計 l,2r+l ， 换言之， 


$ r ,2 n+i =2 P { S 2n+l =^2 r + l } , r =0， l ， …. （5.1) 

证首先，我们把定理表述成一个更为方便的形式.如果第一步走到点（1，1)， 
就取此点为新的坐标系的原点.一次穿越旧坐标系的横轴，对应于一次穿越新坐标 
系的横轴下面的一条水平线（纵坐轴为 一1). 类似的推导对 s 1= —1亦可应用.由此 
可知定理完全等价于下面的命题：直到日期为止，穿越水平线一 1的次数恰为 r 
的概率等于 

2n+l,2r+l • 

首先考虑 r —0 的情况.说水平线一 1从未被穿越等价于说水平线一2从未被触 
及（或穿越).在这种情况下， S 2 „ 是一个非负的偶整数.对由第1节的基本 
反射引理 知：从 （0,0) 到 (2 n ,2 k ) 且一定触及水平线一2的路径数等于到(2«, 
2々+4)的路径数.因此，到达了点 (2 ni 2 k ) 但从未触及水平线一2的概率 等于/ 
- p 2 fu 2 k + i . 水平线从未被触及的概率等于这些数对6 = 0，1，2,…求和.许多项被 
抵消了，最后发现，此概率等于/^.。+九,. 2 .虽然，每一条经过（2«+1，1)的路径 
或者经过(2«,0)或者经过（2«，2)，故 

1 ' 

p 2, t + 1,1 = Y ^^^ 2 "- 2 ^ ' (5.2) 

由 （5.2) 知 r =0 时，我们的论断 成立. 

再考虑 r = l 的情形.一条在时刻 2 v ~ l 穿越水平线 一1 的路径可以分成两段， 
一段从（0,0)到 （2 xn — 2)，而另一段为从 (2^,-2) 开始的长为 2 rj _2 iy 的子路径. 
对后这一段我们应用 r ==0 时已得到的结果但是对正、负号的角色易位.长为 — 2 *u 
的始于点 (2^-2) 的从不穿越水平线一 1的路径的总条数等于从 （2 w — 2) 到 
(2^+1， 一 3) 的路径的总条数.但是每一条这种路径与最初的那一段一起组成了一条 
从（0,0)到 （2 n + l ，一3) 的路径.由此 推出： 长为 2 n 的恰巧穿越水平线一 1— 次 
的路径总数等于从原点到 （2 tt + l ，一 3 )的路径数，即是 22 W +1 九 n + l ,3. 这就证明了 
r = 1时我们的论断也成立. 

用归纳法可以证明对任何 r 命题都成立，证明中的第二部分的推理不需要作任何 
改变.（第二部分只对 r = l 这一特殊情况来论述，不过为了避免复杂的符号而已 .）► 

作为定理的一个明显的推论：《次试验中符号变换恰为 r 次的概率^„是/*的下 

降 函数： 

6)、” Xi ， n > 芒2'«〉…. （5. 3) 

这意味着，不考虑扔硬币次数，“领先从不改变”这一事件的可能性大于“领先 
改变々次”的可能性，这里々可以是事先给定的任一正整数. 

例 （ a )99 次试验中符号恰巧改变 r 次的概率 a 如 下表： 


1. 对于返回原点的类似定理，参见习题 9—10. 对另外一种证明，见习题 11. 




r 

Tr 

r 

x r 

0 

0. 1592 

7 

0. 0517 

1 

0. 1529 

8 

0. 0375 

2 

0. 1412 

9 

0. 0260 

3 

0, 1252 

10 

0,0174 

4 

0. 1066 

11 

0,0111 

5 

0. 0873 

12 

0. 0068 

6 

0. 0686 

13 

0. 0040 


( b ) 10 000 次试验中符号从不改变的概率大约为 0. 0160. 恰巧改变 r 次符号的 
概率心下降得很慢，对于 r =10,20,30, 对应的概率 : r r = 0.0156 ，CX 0146,0.0130 .在 
10 000次试验中领先的变化次数不超过10次的概率约为 0. 1740 1 . 换言之，在6个这 

样的试验序列中就有1个，出现领先的变化次数不超过 10. ► 

等式 （5.1) 的一个有用的性 质是： 它使我们能应用第2节推出的正态逼近.假定 x 是固 

定的正数而 n 很大.在时刻《以前，符号的变化次数小于: rW 的概率为2尸{\<2^士}，再用 
(2.7) 式，后面的概率当时趋于％ (2 x ) - y . 因此有下面的 定理： 

定理 2 (正态逼近）在时刻 77 以前，符号变化的次数小于： cVJT 的概率当 m 时趋于 
讀 2 x )-1. 

由此 推出： 符号变化的次数的中位数约为0.337 7^， 意即： 当《充分大时，符号变化的 
次数小于 a 337 ▲与次 数大于 a 337 ▲的 pj 能性差不多.符号变化的次数小于 0_ 0628 ▲的概 

率为等等 2 . 

3.6 —个实验的说明 

图 3- 4是扔10 000次硬币，计算机实验获得的结果.同样的材料已经在第1章 
1.6 节例 （ c ) 中表述了.图 3- 4顶上一行标岀了最初500次试验的结果，而下面两 
行标岀了全体10 000次体验的结果，但此两行横坐标与顶上一行的横坐标的比例尺 
度变为1 : 10,纵坐标的比例尺度 不变. 

一看此图，许多人会对接连两次穿越坐标轴之间的区间的长度而惊奇.事实上， 
此图形提供的还是一个比较平和的个例，它是从三个记录中选出的一个较平和者. 
如果把此图反向看，即把10 000次扔硬币的实际的结果颠倒一下（参见 3. 8节），会 
得到一个更加令人惊奇的例子.理论上讲，图示的序列与反向的序列同样是一个理 
想的随机徘徊的真实的表示.反向的随机徘徊具有下述性质.从原点出发， 


1. 原书此处为0.0174,应为 0. 1740_——译者注 

2. 在10 0⑻次试验至多出现6次平手的逼近值为1/10这是一个低估值，精确值为 0. 112. 


n 


『争] 
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路径落在 


负的 

一边 

正的一边 

最初那7804步 

后面的8步 

后面的 

2步 

后面的54步 

后面的 

30步 

后面的2步 

后面的 

48步 

后面的6步 

后面的2046步 



总共 9930 步 总共 7 0 步 

时间 份额： 0.993 时间 份额： 0.007 

这看来是荒谬的.扔10 000次均匀的硬币，游戏者一方胜出次数超过9 930次而 
另一方不到70次的概率大于1/10_换言之，从平均意义上看，10次纪录中有1次结 
果与人们期望的结果不符.反过来，平衡性比图 3-4 好的概率只有 0.072. 

图 3-4 的原始纪录含有78次改变符号和另外64次返回原点.反向的序列含有8 
次改变符号和另外6次返回原点 • 专家意见的抽样调查显示：即使是训练有素的统 
计学家，都期望在扔10 000次均匀硬币时，符号改变的次数大于78,而没有人期望 
其仅为 8. 实际上，符号改变的次数不超过8的概率大于0.14,而符号改变的次数超 
过78的概率约为 0. 12. 由于符号改变的次数涉及同一个标准的两个记录，理论上说 
不应引起惊奇 • 如果他们觉得奇怪，那是由于错误的直观，和过多地参考了许多含 
糊的索引及对“平均律”的误解. 

3. 7最大和初过 

前面许多结论都是基于反射原理的一个简单推论-—基本引理 3. 1之上的.现 

在，我们把注意力转到此原理的另一个结果. 

考虑完一直留在轴上方的路径以后，现在来考虑一直留在直线以下的路 

径，即是满足下列条件的 路径： 

S 0 O ， SiO ，…, S „0. (7.1) 

在此情况下，我们说路径的最大值小于（注 意： 因为&=0,所以最大值总是非负 
的 .） 令 4) 是一个满足坐标《『的点.称从0到 A 的一条路径触及或超过直线 
x = r , 如果条件 （7.1) 不成立.由反射原理，这样的路径的总数等于从原点到点八 /=: 
(«，2 r — 々)的路径的总数，其中 A ' 是 A 关于直线 J — r 的反射.因此，我们证 明了： 
引理 1令々一条长为《的路径，其终点为 A ==(«，々） 且最大值>「的概率 
等于 p n ,2 r - k ^ P { S n ^=2 r - k }. 

最大值等于 r 的概率由差所给出 • 对一切求和，得到任一 
条长为 n 的路径其最大值恰为〃的概率.此和是依次叠进的且最后化为 
只有当和 r 的奇偶性一样时，九/才不为0，而这时必有 =0. 于是我们得 




到了： 

定理 1 一 条长为 《 的路径，其最大值等于的概率是数对中的 
那个正数. 

对 r =0 且路径长是偶数时，结论为 

P { S ,^0, S 2 ^0,***, S 2 fl ^0}= M 2 „. (7. 2) 

当然，这等价于关系式（3.4)，它代表基本引理的一种 版本. 因此，定理1是基本引 

理的推广. 

下面要引进一个在随机过程一般理论中十分重要的基本概念.称在时刻《 “初 
过”点 r >0, 如果 

Si < Cr ,***, S „_ i < Cr f S „ = r . (7.3) 

在现在的内容里，或许说“初访”比“初过”好，但是术语“初过”在物理文献中 

早就引进并应用了，而且术语“访问”在连续过程中是不能采用的. 

显然，一条满足条件 （7.3) 的路径必须经过 （《— l ， r _ l )， 而且在时刻 n — 1以 

前（含; 7—1) 其最大值为 r —1. 我们已知此事件的概率为因此 
得到： 

定理2初过 r 发生在时刻 n 的概率由下式 给出： . 

中 r、n 2 -Pn ' 1 , r~ 1 Pn~ 1 » 1 - ■ ( 7 * 4 ) 

常规计算可得 


^r. n 


n + r r\ 


(7.5) 


[跟通常一样，当^ 1 ^不是整数时，^ + ^可理解为 0.] 另一推导见 3 .8节 （ b )_ 

I 2 J 

当 r 很大时，分布 （7.5) 非常有趣.为了得到初过 r 发生在时刻 N 以前的概率，必须把 
，，对一切” 求和_由正态逼近的 （2.7) 式可知，仅仅是这样一些项对和才提供有意义的 
数值： ^/ n ， 既不很大又不是很靠近于 0. 对于这样的项，第 7. 2节提供了下述近似 估计： 


<Pr f 





(7. 6) 


记住：在和式中，《和 r 必须有相同的奇偶性.此和式是 (7. 7) 1 中的积分的黎曼 （RiemanrO 
和.我们得到 

定理3 (初过的极限定 理）. 固定 r 初过 r 发生在时刻 V 的概率当 广 -oo 时趋于： 





)] 


(7,7) 


(7.7) 定义所谓的 | 阶正稳定 分布. 定理3的推广，参见第 I 4 . 9节习题 14. 
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此处91是第 7. 1节定义的正态分布, 


粗略地说，此定理 推出： 初过 r 的等待时间依 W 之增加而增加.初过 r 发生在时刻 

以后的概率约为由此 推出： 必定存在一个点使得经过々到 6十1 的时间长于从0到 
々所需的时间. 

初过时刻的分布直接 导出： 质点第「次返回原点的时刻的分布. 

定理4 第 r 次返回原点发生在时 刻”的 概率为其中％，〃由 （7,5) 式所 

定义. 

换句话说，在时刻 w 第 r 次返回原点的概率与在时刻 w — r 初过 r 的概率一样. 

证 1 考虑一条从原点到（〃，0)的满足下述条件的 路径： 其所有的边都在横坐 
标下面，而且恰有 r —1 个内顶点在横坐标轴上.为简单起见，称这样的路径为典 
型的 （ representative ). (图 3- 5给出了 一 条 w = 20， r = 5的典型路径 .） 一■条典型路 
径可分成 r 段，其中每一段的端点都在横坐标轴上，而且还可以用下列办法构造出 
2 J •条不同的 路径： 在每段中把其顶点赋以不同的符号（即是说，把几段对坐标轴作 
反射).用这种办法，我们可以得到一切在第 r 次返回作为结束的路径，因此，典 
型路径的条数与在第 r 次返回（在时刻 n ) 为结束的路径的条数的 t 倍相等.所 
以，定理可以重新叙述如下：长度为〃的典型路径的条数等于长度为的终点 
初过 r 的路径的条数.这确是对的，因为，当我们把一条典型的路径删去其左端点 
在横坐标轴上的 r 条边以后，就得到了一条长度为《 —「的终点初过 r 的路径 • 此程 
序可反向施行，即在原点和造成初过1，2,…， r 一 1的那 r ■一 1个顶点插入/■•条具有负 

斜率的边（见图 3- 5). 



由此推出的结 论是； 初返的极限定理也可以应用到第〃次返回为 r — co 时的场 
合，第 r •次返回原点发生在时刻汴 2 以前的概率当 r — oo 时趋于（ 7 . 7 )式所确定 

的数. 


1. 至于用母函数来证明此定理，参见第11章 （3.17) 
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此结果揭示出随机徘徊中的随机起伏的另一个人们想像不到的性质.用比较形 
象的语言描述就是，随机徘徊在质点返回原点时重新开始徘徊，因此第 r 次返回原点 
的时刻可视为 r 个等待时间的和，这些等待时间可解释为“在相同的条件下测量同一 
个物理量的测量值”.普遍认为这 r 个观察值的均值有界地收敛到一个“真值”.但现 
在此和的阶实际上是因此粗略地说，此均值与〃成比例.详细分析 显示： 这 r 个 
等待时间中的有一个时间的阶与 r 个等待时间的和的阶是一样的，都是 r 2 . 在实践 
中，这种现象被归纳为“实验误差”或“出现意外”而被忽略.发现人们不愿见到 
的东西是困难的 1 . 


3. 8对偶性 • 最大的位置 


每一条路径对应于由加号和减号组成的有限序列，而且如果把其项的次序颠倒 
一下，就会得到一条新的路径.从几何的观点来看，新路径是把老路径沿其终点旋 
转180°并把老路径的终点取为新坐标系的原点 而成. 对每一类路径，都可以按此法 
在同一坐标系中得到一类新路径.如果起始的随机徘徊的诸步 如下： 足， X 2 ，…， X „， 
则新的随机徘徊的诸步定 义为： 

xr =x„(8.1) 

新随机徘徊的顶点由下列部分和 决定： 

S ； + … + X / = S „ — S„— k (8.2) 

(此处， S ；-0, S ；= S „). 我们称此新随机徘徊 为对偶的随机徘徊. 每个起始的随机 
徘徊所定义的事件，对应着对偶的随机徘徊所定义的一个事件，它们的概率相等. 
用此方法，几乎每一个概率关系都有其对 偶性. 这种简单的导岀新关系的方法的有 
效性，较之第一印象要大 得多. 它的全部威力在第二卷书中关于一般的随机徘徊和 
排队论中才能展现出来，但是，即使在现在的内容中，我们也能轻易地推出许多有趣 


的结果. 

为了说明这点，让我们复习这类对偶事件，下面列举的每一对对偶事件都有值 
得注意的 方面. 下列例中， n 均视为固定的，而且路径的端点（《， S „) 简称为“终 

点”.为了方便起见，先从对偶的随机徘徊的已知事件开始. 

( a ) 初过时间.由 （8.2) 易知： 分 别由下 列二式定义的事件是相互对偶的： 


S />0, 


1 , 2 , 


(8.3) 


和 


S „> S ,, 


7 = 0 , 1 , 


…，衫 




1 . 


(8.4) 


第二个事件的意 思是： 在时刻”以前，终点从未被访问过•由 d ) 知：当《 = 
2 z ；>0 为偶数时，第一个事件的概率为而当= 时此概率仍是此数.因 


1. 原著者在此反复说明，许多直观是不可靠的，甚至与精密的理论背道而驰.——译者注 
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为蕴涵了 S 2 *^ 1 >0. 因此 在时刻 /? 初过一个正的点的概率为 此处 

或 Ty = -|~ (w — 1). (显然，这对也成立，但对《 = 0不成立 .） 对偶原理在此使 

我们得到了一个很有趣的结果，而直接验证此结果是不容易的. 

( b ) 续上.在前面的引理中，终点事先并未特别指明.限制初过点 r 意味着在 
(8.4) 中再附加条件 S „ = r . 其对偶事件是由这样一些路径所 构成： 它从原点到（《， 
r ) 而且其全部内顶点都在坐标轴的上方.这种路径的条数可以直接从反射引理得到 
[取 A =( l ， l )， B =(«， r )]. 因此，得到了 （7.4) 式的一个新的证明 • 

( c ) 在终点的最大值 .在 （8. 3) 和 （8.4) 中把严格不等式>换为>，可得到一 
对新的对偶事件.只要 S „ 是最大值，甚至此最大值在此前的某一个时刻也达到过， 

第二个事件也发生 1. 参考 （3.4), 我们 发现： 此事件的概率为其中 « 或 

t ; = ~ ( n +1). 值得注意的是，此概率是例 （ a ) 中所求得的概率的2倍. 

( d ) “已经返回 原点) U 欠”这一事件与事件 “/ U 欠访问终点 1 2 发生在时刻《以前” 
是相互对偶的.类似的陈述可应用到符号变换中去.（至于其概率，可见 3 . 5节和本 
章习题 9 — 10.) 

( e ) 初访终点的反正弦律. 随机选取 一 条长为的路径.在例 （ a ) 中 ，我 
们已经 知道： 事件 “ S 2 v s 正的且 s 。，^ ，…， s 2 d 中没有一项等于 s 2v ” 的概率为 

ju 2 v . 对 S 2 , 为负数的情形，上述类似结论也对.因此，值 s 2 „ 在日期2^以前从未达 

到过的概率为这也是事件 “ S 2v = 0” 的概率.在最后这一事件中，终点的值0 
在时刻0已经达到了 3 .现在考虑更一般的 事件： 初访终点的值在日期找（换言之， 
我们要求对一切々成 立). 这是下述事件的对偶事件：最后 一 
次访问原点发生在时刻找，而且在 3. 4节中我们已看到这些访问服从离散的反正弦 
分布.因此我们又得到了一个意想不到的 结果： 在时刻 心一26 初访终点 S 2l) 的概率为 
a 2 k , 2 v ^ u 2 k uz v - z k ( AU ， …， t ;). 特别地，由此 推出： 时刻2々和 2 v — 2是是等可能的 • 
还有，特别早或特别晚初访的概率比其他时间初访的可能性大. 

(0 最大值位置的反正 弦律.作为对偶性原理的有用性的最后一个例子，我们证 
明在例 （ a ), ( c ) 中所得到的结果可以直接推出序列 S 。，^ ，…, S „ 中达到最大值的时 
刻的概率分布.但因为最大值可以多次达到，所以我们必须区别最初和最后的最大 
值.然而，结果实质上是一样的 • 


1. 用第二卷书第12章的术语来说，我们用弱升降点来对比例 （ a ) 中的严升降点 • 

2. 原著者定义终点为（《，&)，因此时刻《以前访问终点是不可能的.“在时刻& 初访终点”其实是 

“ 在时刻々初过&”，即&=5„，5#5„对一切_;<^原著者在例 （ d ) 中的解释亦如此.-译者注 

3. 因 So=0. 译者注 


为了简单起见，令是偶数.第一次最大值发生在时刻々，如果 

S 0 <S*,***,S*-i<S 4 , 

>5^4-1 ，…， 


(8. 5 a ) 
(8.5 b ) 


把是写成 々 = = %+ l . 根据例 ( a ), 除了 ^=0以外 (8. 5 a ) 的概率为 f %. 

事件 （8.5 b ) 仅仅包含时刻 々及 々以后的那•段，显然其概率等于长为2 々的 、其 
顶点都在轴或以下的路径的概率.在例 （ c ) 中已证明此概率为因此，如 
果 0< A <2 r , 在序列 S。， …， S 2 „ 中第一个最大值发生在时刻 6 = 2" 或6=2^0+1的概 

率为 +w2 P , 2t ^. 对于々= 0或左 =2 t;， 其对应的概率分别为I和^ ~ m 2u . 

(对 于最后 一个最大值，时刻0和％对应的概率交换一下就行，其余的概率保持 
不变，只需把々写成6=^或 6=^—1 即可 .） 

可见，把奇的和偶的下标适当地配对，最大值的位置化为离散的反正弦分布的 
问题.与直观想像不同，在扔硬币的游戏中，最大的累积盈利发生在游戏的早期或 
晚期的可能性，比发生在中期的可能性大得多. 


3 . 9 


▲ 


个等分布定理 


作为这一章的结尾，我们来证明曾在 3.1 节例 （ b ) 中提及的有关高尔顿的行序 
检验的一条定理.这可以说明稍微改变一些条件能导致结果产生怎样的改变. 

3. 4节中曾 证明： 落在轴 1 上面的边数服从离散的反正弦 分布. 现在再考虑类 

似的问题，但我们的注意力集中到从原点开始而终于轴 2 上一点的路径.其结果是 

想像不到的，因为它与反正弦律明显不同. 

定理长为 2 n 的 S2„=0 的恰有 2 k 条边在横坐标上方的路径的条数为 2 2 n uJ { n + l ) 

=2 2 ^ 1 /2«+2»(^0,1,2,-*-)它与々无关. 

证 分别考虑& = 0和 A = n 两种情形.从原点到 （2 w ，0) 的一切边都在 P 轴上方 
的路径数等于从 （1,1) 到(2«,0)的从不触及轴下方的直线的路 径数. 由反射原 
理，此数等于 


2 n~l 


2n — 1 
w+1 


^( 2w ). 


(9 - 1 ) 


这就证明了々=/^的情形，由对称性々= 0时亦 成立. 

对于 一 1，我们用归 纳法， 容易验证定理的结论当〃 =1时成立 • 假定定 

理的结论对路径的长度小于 2 n 成立 • 令 2 r 是初返原点的日期 • 可能有两种情况•如 


1. 原书此处为轴，应为轴. 


译者注 


:.原书此处为 I 轴，应为^轴，因为原作者一开始就约定卜轴是横坐标轴，而轴是纵坐标 


轴, 


译者注 
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果到时刻 2 r 的那一段在横坐标轴的正方，此时必有且第二段恰有2々一 2 r 
条边在横坐标轴的上面.由归纳法假设，满足此两条件的路径有 


i 2 i 




'2«~ 2 j 


_ 


n 


r +1 


U Zn-~2r 


2 2i 


r(n _ r+1) 


^2i—2^2n~2r 


(9.2) 


种不同的选取法.另一方面，如果到初返原点那一段全在横坐标的负方，则最终那 
—段长为2« — 2 r 的子路径恰含2々条正边，因此在这种情况下必对固定 
的 r ， 满足这些条件的路径数也是由 （9.2) 所给出。因此，在上述两种情况中，路 
径的总条数分别为把 （9.2) 对 l < r < 々求和与对求和.在第二个求和 
中把求和指标由 r 变为 p ^ n +1 — r ， 贝!从々+ 1跑到 n ， 只要把 r 换为 p 此和中每 
一 项均与 （9.2) 中的相应的项一样.由此 推出： 具有 々条 正边的路径数等于把 （9.2) 
式对一切求和.因 々在 （9.2) 式中并不出现，故此和不依赖于匕因为总的 
路径数为2 2 ~ 2 „，这就决定了每种情况下的路径数.（直接的计算见习题 13. ) V 

关于最大值的位置的类似的定理也对（参见 3. 10节习题 14). 


3. 10 习 题 


L ( a ) 如果 a >0 且6>0，满足条件 5 i > — 6, …，〜 -1 > — 6,〜 的路径的总数为 

N n ， a N Tt,a J r2b * 

( b ) 如果 6> a >0， 满足条件…，的路径的总数为 iV „, a — N n w — a . 

2. 令 a > c >0 且6>0,触及过： r = a 且此后一直到（〜 c ) 都未触及直线的路径的总 

数为 n*2a - r (注 意： 这些路径包含了在触及直线以前触及直线 = 

的那些路径 .） 

3. 重复反射. 设 a 和6都是正数且一 6< c < a . 从原点到 （《， c ) 的中间既未触及直线 
x =—6 又未触及直线的路径的总数等于下述 级数： 

S ( N „ » 2 k ( a ~ hb)-hc ~ N n »24( a +6) + 2 a _ f > ， 

此级数是对一切々从一⑺到 ^ 求和，但只有有限个非零项* 

提示： 应用并推广前一问题的方法. 

注意： 此问题与赌博中的所谓破产问题有联系.在一场赌博中，若赌者双方各有初始本 
金 a 和6元，则赌博将在累积资本达到 a 或一6时结束.关于与统计检验的联系可参见 
3. 1 节例 （ c ). 

(重复、反射的方法将在第 14. 9节习题 I 7 中再一次用到，与第二卷书第 10.5 节的扩散理 
论也有联系 .） 

4 . 从引理 3.1 推出（不用计 算）： 

Uo Uin + Ut Utn-1 H huhWo = 1. 


5. 证明: 



r l ] 


r 11 

u 2n = {—\y 

■2 

, n > 

， / 2 , = ( —l) rt - 1 

2 

l n , 


如像第 2 章 （12.9) 推出 （2.6) —样，推岀前一问题的恒等式_ 

6. 用几何方法 证明： 从原点到（2^ + 2,0)的一切内顶点都严格在横坐标轴正上方的路径 
数，等于从原点到（2«，0)的一切顶点在横坐标轴上方的（允许落在横坐标轴上）路径数 • 
因此巧&^)， ] 彡 0， S 2 „ = 0}=2/ 2 „ +2 . (提 示： 参考图 3-1.) 

7 . 首先证明由下述方法构造的两族路径能建立一个——对应，然后再利用它几何地证明引 
理3, 1_ 

给定一条从原点到（2〃,0)的路径，令 M = U ， m ) 是此路径的最左边的最小点.把 
从原点到 M 这一段路径对垂直线 f = & 作反射并滑动这反射的一段到端点（2〃，0).如果 
取 M 做新坐标系的原点，则新路径从原点到 （277,2/77) 且一切顶点严格落在横坐标轴上 
或其 上方. [此构造源自尼尔森 （ E . Nelson ).] 

8. 考虑从不与直线: r = — l 相遇的路径，直接证明公式 （3.5). 

9. 在时刻 2 n 以前恰巧发生 r 次返回原点的概率，等于在时刻返回了原点且此前至少有 r 
次返回原点的概率. 提示： 用引理 3 - l . 

10. 续上题，令^, 2 „为在时刻 2 n 及其以前恰巧发生 r 次返回原点的概率.应用前一个问题， 
证明： A , 2 „=>, 2 „+ (0 r +1 ,2„ + …，此处是第 r 次返回原点恰巧发生在时刻2«的概率. 
利用定理 7. 4 推出： 

2 n — r \ 



11,符号变换次数的概率的另一种推导.证明: 


, 2n —1 


n— 1 

2 fzk [£- 1 


， 2/r— 1 _ Zk 


十6% 


2rt—l—2k 


k = \ 


归纳地，假定 （5.1) 式对到⑼ 一 1之前的一切时刻都成立，证明: 


«-1 


6^, 2^-i — 2n - ， 2r • 

1 

这是返回原点以后到达点 (2 n ，2 r ) 的概率 • 考虑第一步，并应用选举定理证明 （5.1) 成立 • 

12. S2„=0 且序列&，…， S2H 的最大值是々的概率等于^53^2衫 一 P { S 2 „=2々+2}_ 用反射证 
明此结果. 

13 . 第3, 9节的证明中曾证 明了： 


1 — 1 
^ r(n-r+V) 叱厂 2 处厂 2 , — ^+ 1 ^* 

广 = 丄 

证明此关系等价于 （2.6 L 提示： 分解因子. 

14 . 考虑一条长为2〃 的满足 S 2 fl =0 的 路径. 把其边环形地标序，其办法是把0 和⑼ 视为同 
一物 • 这就产生了一个结果：第一条边与最后一条边变为紧邻的两条边 • 应用循环排列， 
视作具有原点 { k ， Sk 、 的闭路径.证明这样做，其最大值保持不变，但其位置往前移了 
々步_证明当全部2/2个循环排列都用了以后，最大值发生在 r 的次数不依赖于 r . 

随机抽取一条满足 S 2 „=0 的路径，并抽出其最大值所在的位置（如果最大值的位置惟 
一的 话）； 如果最大值的位置有”个，则随机地选取一个‘此过程的数目界于 0 与一 1 之 
间，证明一切可能性均等. 



第 4 章事件的组合 


本章讨论关于由某些其他事件咸，息，…， a n 所确定的一些事件.例如在桥牌游 
戏中，“至少一家有同一花色”的事件 A 是由四个事件八^(々=1，2,3,4)所成之并，其 
中烏是事件“第6家有同一花色”.由于诸事件 烏可能 一个、两个或多个同时发 
生，也正因为有这些重迭关系，所以事件 A 的概率并不是四个概率之和.对 
于给定的一组事件 A m A 2 ，…， A n ， 我们将说明如何去计算其屮有0个，1个， 
2个，……同时发牛的概率. 


4. 1事件之并 

SAi 与 A 2 是两个事件，则八=恚11 A 2 表示 A 或 A 2 或两者同时发生的事件. 
由第1章 （7.4) 式我们有 

P{A} - P{A l }+P{A 2 }-P{A l A 2 }. (1.1) 

现在，我们希望将此公式推广到 N 个事件 A !， A 2 ，…， Av 的情形，也就是说，我们想 
要计算事件“至少有一个息发生”的概率，这事件可用符号 1>“ UA n 
来表示.为此，仅知道每个事件 八的概 率是不够的，我们还必须知道关于事件 A 
的所有可能重迭的全部情况，也就是对于每个二元组每个三元组 ( J ， j ， k )， 
等等，我们必须知道 A , 与 Ay 或 A , ，4与等等同时发生的概率 • 为了便于表达， 

我们将用字母加以适当的下标来表示这些 概率. 于是 

p , 二 P { A ( = P{A t Aj) ypuj,k = _ P { A , A , A 山… （1.2) 

此处，下标的先后次序是无关紧要的.但是，为了统一起见，我们将 按下标数字的 

大小顺序来书写；因此，我们不写 P7.3.11 而写 /»3,7 ， 11. 两个下标永不相等 • 令 S r 表示 

所有具有「个下标的 P 之和，即定义 

Si = 2 pi » S 2 = ， S 3 = 2 A,),* ，… （1.3) 

其中因此，每一组合在和中出现一次而且只出现 一次. 故$共有 
个项.最后的一个和仅有一项它就是所有 iV 个事件同时实现的概 

率.当 JV =2 时，只有两项$与5 2 ,公式 （1.1) 可写成 

P { A } = Si — S 2 . (1. 4) 


^此章内容在以后不多用，仅第一个定理相当 重要. 
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对于任意 N 个事件的情况，可推广成如下的定理. 

定理在事件 ApA 2 ，…， A N 中，至少有一个实现的概率巧由下式给出： 

尸 1 = S — S 2 + S 3 _ S 4 + — …士 S N . (1. 5) 

证用所谓“包含与排斥”的方法来证明 （1.5) (参见 4. 6节习题 26). 为了计 
算 A ， 我们要把至少含在一个 A , 中的所有样本点的概率都加起来，而每个这种点的 
概率只能加一次.为了有系统地进行，首先累加那些只含在一个 A ,. 中的点的概率， 
其次是那些恰含在两个事件 A , 中的，依此类推，最后是那些含在所有中的点（如 
果有的话）的概率.现在，设£:为任一样本点，它恰好含在这 iV 个事件的 n 个中. 
不失一般性，我们可以将事件组 { AJ 重新编号，使编号之后，£:恰好含在 ApAp 
…， A „ 中，而不在 A „ +1 ， A „ +2 ，…， A v 中.于是， P { E } 将出现在各个丸， p ,.,， p ,，^ ，… 

之中，此处的下标数字都是从1到故巧幻在^中出现 n 次，在&中出现次 

等等.总之，当 （1.5) 的右边用样本点的概率来表示时，得到了 P {£：} 出现的次 
数是 


”-(2)+(3)- + …士 D. U . 6) 

要证明这个定理，只须证明这个数等于1便够了.把 （1.6) 与 （1 一 1广的二项展开 
式[参看第2章 (8.7)] 作比较，立刻就可以得到这个 结论. 因为（1_1广的展开 
式中的第一项是1，而紧接着的各项便是（1_6)各项的反号.故对于每个〃>1，表 
达式 （1.6) 都等干1，这就证明了定理. ► 

例 （ a ) 在桥牌游戏中，设 A , 为“第；家有同一花色”的事件，贝 i』A = 4 + 

第；与第 j 两家同时都有同一花色的事件的发生有 4. 3种可能的方式，并且有 


mm A .；=12-(^)( i 3 ) J 同理， 


一 +(S) ⑵© ■ 

最后，/ >1,2.3,4=A.2.3. 因为当三家中每家都有同一花色时，第四家必然也有同一花 

色.因此某一家有同一花色的概率是利用斯特林 
公式，可以近似地得在这个特殊的情形下， A 很相近于 A 的概率 
之和，但这并不是常规，而是一个例外. 

( b ) 相合（一致).孟德模 （ Montmort ) (1708) 首先提出下面的有多种变形和一 

个奇妙的解答的问题.它曾被拉普拉斯与许多其他作者推广过 • 

设有两副同样的纸牌，每副各有 JV 张不同的牌.把这两副牌都均匀地洗过之后， 
就将此两副牌依它们的次序逐一翻看对比.若在两副牌中，同一位置的两张牌恰好 
是相同时，我们就说有一个相合（一致).因而，相合可以在 N 个位置的任何一处发 
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生，也可以在若干个位置上同时 发生. 这样的试验还可以用更有趣的形式来描写. 
例如，我们可用 JV 封信与 N 个信封来代替两副纸牌，而设想一个马虎的秘书把信与 
信封随意地相配.或者我们也可以把它设想成把混放在衣帽间的帽子随便地发还给 
宾客，若某一客人所得的帽子恰好是他自己的，则说有一个相合.我们可以设想一 
下一个相合发生的概率与 iV 的 关系： 在一个共有8个客人的餐馆中，帽主与其帽子 
有一个相合的概率同10 000人中有一个相合的概率相比较，结果如何呢？人们将感 
到奇怪，实际上，这个概率差不多与 N 无关，总是近乎2/3 (对于较有价值的应用， 
可参见 4.6 节习题10，11). 

在 4. 4节里，我们将计算恰有0，1，2,3^”个相合的概率.这里，我们仅仅求出 
至少有一个相合的概率 fV 为了表达简单起见，让我们将纸牌编上号数1,2,3,…， 
N , 并假定有一副纸牌是按它自然的顺序排列的，而另一副纸牌的每一种排列都有概 
率 1/ N !. 令八+为在第々个位置上这两副纸牌出现相合的事件.这意 味着： 编号为是 
的牌排在第々个位置，而其余的 iV —1 张牌可以按任意的顺序来排列.显然， p k = 
( N -1)! / N ! =1/ N . 同理，对每一组 我们有 A ，， 二 （ N —2)! / JV ! = 1/ 

N ( N - l ), 等等.在和 S . 中包含有个项，其中每一项都等于 （ N — r )! / Nl . 


因此& = l / r ! 及由 （1.5) 即可得到所要求的概率是 



(1.7) 


注意，1 一 A 正是展开式 


e 



中的前 iV +1 项.因此我们有一个良好的近似式 

^ 1 — e — 1 = 0* 632 12… • 


下表中巧的准确数值可说明 （1.9) 的近似程度是很好的. 


N = 3 4 5 6 

0,666 67 0. 625 00 0.633 33 0.631 96 


( 1 - 8 ) 

(1.9) 


7 

0, 632 14 



4. 2在古典占位问题中的应用 

现在回到把〃个球随机地放到〃个盒中的问题，设每种不同的放法都具有相同的 
概率 rz ' 我们要求出恰有 rn 个盒是空的概率 p m ( r , n )\ 

设八^代表第 々个 盒是空的这一事件(々=1，2,…， 《)• 在这事件中，所有 r 个球都 
放到其余的 n — 1个盒里，并且，这样的放法共有 （ n —1)^ ■种. 同理，预先指定的两 


1. 这个概率在 2. 11节问题8中曾用完全不同的方式推出过.可把它与 4. 3节中的例子 比较. 
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个盒是空的放法共有 （〃 一 2 V 种，依此类推.于是得到 



因此，对于每个<〃，有 


( 2 , 1 ) 


& = CM 1 -专). （2 . 2) 

至少有一个盒是空的概率由 （1.5) 给出，因此所有的盒都不空的概率为 1 — & + 
S 2 —I ，或者 

Poir.n) = t(—— 晋 ）. （ 2.3) 

x；^0 \ U / 

现在我们考虑一个恰有 m 个盒空的分布.这 m 个盒可以有种方法 选取. r 个球 

\Tyi f 

分布在其余的 n _ m 个盒中，因此这样的分布共有 （w — 饥)>。 （ r ，《 — m ) 种.除以 〆 ， 
我们发现恰有 m 个盒是空的概率为 

p m (r ， n) = Poir,n-m) 



- 1 ) 


)( 


1- 


(2.4) 


我们曾经采用 r 个随机数字的模型来比喻 r 个物件任意地放入10个 盒中. 此时， 
空盒对应于数字的不出现.若 m 个盒是空的，则10 — m 个不同数字就出现在所给出 
的序列中.表 4-1 供给我们一个数值的实例. 


表 4-1 当/1 = 10时，按照公式 （2.4) 所计算的概率 p m ("，10) 



二 18 


0 

1 

2 

3 

4 

5 

6 

7 

8 


0, 000 363 
0*016 330 
0. 136 080 
0, 355 622 
0. 345 144 
0. 128 596 
0. 017 189 
0. 000 672 
0. 000 005 


0. 134 673 
0. 385 289 
0. 342 987 
0. 119 425 
0. 016 736 
0. 000 876 
0_ 000 014 
0. 000 000 
0. 000 000 



0.000 000 


0 , 000 000 


p m ( r ，10) 是在一列 r 个随机数字中，0，1，2,…，9中恰有 m 个不出现的概率. 


显然，在 （2.4) 中，直接的数字计算是在”与 r 都较小时才是适用的，但占位 
问题只在》相当大时才令人关注.例如，若10 000个球任意地放到1000个盒中，究 
竟有多少机会发现一个空盒？在人数为2000的人群中，发现一年中的某一天不是这 
些人的生日的机会又是多少？幸好，这类问题可以利用一个很简洁而又令人满意的 
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近似法来回答.当《 — co 时，其误差趋于零.有关这近似法的讨论是概率论中许多 
极限定理的典型. 

于是，我们的目的在于讨论当 n — co ， r — co 时公式 （2.4) 的极限形式.原则 
上，〃与；2之间的关系是任意的.然而，比例 r / w 是表示每一盒中物件的平均数.如 
果很大，我们就不能期望有空盒.在这种情形， /><>(〜《) 近似于1而所有 & A „( r , 

都很小.另一方面，若趋于零，则几乎所有的盒都是空的.此时，对 
每一固定的 — 0. 因此，只有中间情形才真正有讨论的意义. 

我们首先估计公式 （2.2) 中的量因为 ( n — v ) v < ( n ) v < n % 故我们有 

^(l~ — )^<^! S.<^(l~ — )\ (2.5) 

\ n , v n } 


对 0< i < l ， 由第 2 章的展式 (8 - 10) 显然有 一 log(l — 0 落在 i 与 i/(l — i ) 之间•故 


Ue — ㈣ ’(") 广 < < { ne ~ r/n }\ 


( 2 * 6 ) 


为了简单起见，令 



(2.7) 


并假定 r 和〃以这样一种方式上 升：使 A 保持有界.于是，对每一固定的 w (2.6) 
中左右两端的数的比趋于1，因此，我们推出 



( 2 . 8 ) 


当 A — 0时，此关系式严格成立，因此 （2,8) 式仍然正确，则 

OC 

e A — p 0 { r ^ n ) = ^ (— 1) 

但 （2.4) 中 Po ( r ， n ~ m ) 的因子可以写成 S w ， 从而对每一个固定的 m ， 都有 


X v 

^T-S 


0, 


(2.9) 


Pm(r,n) 




( 2 . 10 ) 


这就完成了下述定理的 证明： 

定理当”和 r 增大而使得保持有界时，则对每一个固定的 m ，(2, 10) 
都成立. 

近似表达式 

p(m ； X) = e _A ^-r (2. 11) 

ml 

称为泊松分布，它是一个非常重要的分布，描述了各种现象.我们将在第6章仔细 
研究它. 

实际上，当《相当大时，就可用 〆 w ; A ) 作为一个 逼近. 而对于不大不小的值 

n ， 就需要估计误差.这里我们并不打算就此展开讨论. 

例 （ a ) 当盒的个数是1000,而球的 +数在 5000与9000之间时，表 4-2 给出了 

恰有 m 个空盒的概率的近 似值. 当 r =5000 时，空盒个数的中位数是6,也就是说， 
出现7个或更多的空盒的可能性与出现6个或更少的空盒的可能性是差不多的.如果 
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把 9000 个球任意分配到 1000 个盒里，则可发现一个空盒的机会是 1/9. 

表 4-2 把 r 个球随机地放入1000个盒里，其中恰有 m 个空盒的概率的泊松近值 (2,11) 




p(m ； X) 

r 

A 


ESI 







wm 



m — 11 

5000 

6* 74 

0‘0012 

0. 0080 

0. 0269 

0* 0604 

0. 1017 

0. 1371 

0. 1540 

ED^ 

mm 

0. 0935 

0. 0630 

i 

0, 0386 

5500 

4.09 

0. 0167 

：0. 0685 

0‘1400 

0. 1909 

；0. 1951 

0. 1596 

0. 1088 

0. 0636 

0. 0325 

0. 0148 

0, 0060 

0. 0023 

j 

6000 

2. 48 

0. 0838 

0. 2077 

0. 2575 

0, 2128 

0, 1320 

0, 0655 

0.0271 

0. 0096 

0. 0030 

0. 0008 

0. 0002 


6500 

1. 50 

0. 2231 

0. 3347 

0. 2510 

0. 1255 

0. 0471 

0.0141 

0. 0035 

0. 0008 

0. 0001 




7000 

0. 91 

0. 4027 

()• 3661 

1 

0, 1666 

0, 0506 

0,0115 

0,0021 

0. 0003 






7500 

0. 55 

0- 5777 

0_ 3163 

0. 0873 

0. 0162 

0. 0023 

0. 0003 







8000 

0. 34 

0. 7126 ： 

0. 2406 

0, 0414 

0, 00491 

0, 0004 


i 






8500 

0. 20 

0. 8187 

0. 1637 

0. 0164 

0. 0011 

O . 0001 


i 






9000 

0* 12 

0. 8869 

0. 1064 

0, 0064 

0. 0003 






i 




(b) 在生日的统计中[第 2_3 节例 （ d)]，n = 365, r 是人数 • 当 r=1900 时，则 
近似地有 A = 2. 在一个有 1900 人的村庄里，一年中有 m 天不是生日的概率可近似地 
表示 如下： 

P[ 0 ] =0. 135» P[i] —0, 271 P[2] 271 P[ 3 ] =0.180 

P [4] =0.090 P [5] =0.036 p w =0.012 P [7] =0.003 

(c) 当 w log n~\~an 个球随机放入 w 个盒中且 n 很大时 ，所有 n 个盒都有球的概率 

为 1 —e ' ► 

其实，我们也可以考虑恰含々个球的盒子，则上面关于々= 0的特殊情况下的论 
断也可应用，只需作小的改动.正如冯•米泽斯指出，恰有 m 个盒，每个都含有々 
个球的概率.也可以用泊松表示式 （2. 11) 来逼近，只不过要把 A 定义为 



( 2 . 12 ) 


4. 3 N 个事件中实现 m 件 


4.1 节的定理可以加强，如下面的 定理： 

定理对任何正整数 w ， 1^ m 在] V 个事件 A 〗 ，…， Av 中恰有 w 个同时发 

生的概率为 




S m 


m + 1 
m 



fm-\- 2 
\ m 





(3-1) 


注意： 根据 （1.5)， 没有一个义,发生的概率 P [。] 为 

P [0] = l - P , = 1 — & + S 2 — S 3 士…平 (3.2) 

这指出了，如果取& = 1, (3.1) 式对 m =0 时也是对的. 

证我们采用 （1.5) 的证明 方法. 设£：是任意一个样本点，并设它恰好含在~ 
个事件 A , 的 w 个中，则仅当 n = m 时样本点 E 的概率 P { E } 才是概率的组成部 







4.4 在相合与猜测问题中的应用 83 


最后的一个关系是显然的. Ah 」 等于零 表示： 有 N —1 个相合而没有所有的 IV 
个相合是不可能的事件. 

在 （4.1) 式右边的花括号内恰是展开式中的前若干项. 故对于相当大的 iV ， 


我们有近似式 


尸[…] 



(4.2) 


表 4- 3给岀了 iV =3,4,5,6，10 时所对应的诸尸^的准确值与极限值，每列中的前部 
给出了的准确值，而最后一列却给出了它的极限值 


Pm 


e 


m 


r 


(4.3) 


表 4-3 对一副 N 张不同的牌进行猜测而恰有 m 次猜中的概率 



N -3 

N ~4 

N ~5 

N =6 

N — 

10 

pm 


■S9 

m 

Pm 

b m 



■3B 

bm 

Pm 

b m 

Q 

0.333 

0. 296 

0. 375 

0. 316 

0. 367 

0. 328 

0. 368 

0. 335 

()• 36788 

0. 34868 

0.367879 

1 

i 

0. 500 

0. 444 

0_ 333 

0. 422 

0. 375 

0. 410 

0. 367 

i 

0. 402 

0_ 36788 

0. 38742 

! 0,367879 

2 

畢 ■ ■ 

0- 222 

0. 250 

0.211 

0-167 

0. 205 

0, 187 

0* 201 

0, 18394 

0, 19371 

0. 183940 

3 

0, 167 

0. 037 

1 … 

0. 047 

: 0.083 

0.051 

0. 056 

0.053 

0. 06131 

0. 05740 

0.061313 

4 



0.042 

0. 004 

+ * * 

0.006 

0.021 

0.008 ' 

0.01534 

0, 01116 

0.015328 

5 





0, 008 

0_ 000 

• • * 

0. 001 

0. 00306 

0. 00149 

0. 003066 

6 




| 



0. 001 

0. 000 

0_ 00052 

0. 00014 

0.000511 

7 






j 



0. 00007 

0- 00001 

0. 000073 

8 









0. 00001 

* * * 

0. 000009 

9 









* # • 

4 * _ 

0. 000001 










畢 4 _ 

* * * 

0- 000000 


由 （4.1) 给出，‘由 （4.4) 给出.最后一行由泊松极限 （4.3) 给出. 

从表中可以看到化对 p m 的近似是相当良好的，甚至对于不大的 n 值也行. 

(4.3) 所定义的数值有如下的 性质： “1+1+^+++… )01. 

因此，九可以解释为概率.注意 （4.3) 为泊 松分布 (2.11) 当 A =1 的特别情形. 

例检验猜测能力. 

在尝酒鉴定及在心理测试等场合中，要求被测者按序说出一组未知顺序的 N 个物品， 
比如说 纸牌. 被测者表现出的任何判断力，都违背了随机性的 特点. 要想从他的猜中率来判 
断其判断能力，我们需要算一算运气的概率.随机的猜测可依照几种方式来进行，我们在此 
仅叙述其中三个极端的可能情形 .（1) 被测者始终只猜一张固定的纸牌，则在 N 次猜测中， 
他一定有一次且仅有一次猜中，因此，猜中次数没有随机的起伏 .（2) 在 N 次猜测中，被 
测者每张牌都猜一次，则 AT 次猜测就对应于 N 张纸牌的一个排列，若被测者没有什么秘 
诀，则公式 （4.1) 可以应用 .（3) 在 N 次猜测中，被测者每次皆可猜测 N 张牌中的任意一 
张，即 N 次的猜测是彼此独立地进行.此时，共有]^种可能的排列.实际上，每人有其 
固定的心理习惯，往往会倾向于多猜某些牌，但在初步近似中，我们可以假设所有^种排 










解的惟一性是根据这样的 事实： 每个的方程 （3.1) 只加一个新的未知数 S m ，故 
氏可以逐步地算出.我们可以用类似的方法证明 （5.4) 的正确性. 

3. 彭弗雷尼 （ Bonferroni ) 不等式 


用下面的方法可以得出有关与 h 的一 系列不 等式. 如果在 （3.1) 或 
(5. 2) 中，只保留 S m ，，…， S m — r — i 等项而把 S r „+ r ， S m n ，…，等项抹去，则其 
误差，（即真值减去近似值）的符号与所抹去的第一项的符号[即（一 ir ] 相同，且 
其绝对值小于所抹去的第一项的绝对值. 特别地，当 r = l 与 r =2 时，有 

S m — (w + l ) S jn +! ^ P [,„] ^ S m , (5. 6) 

S m — mS m ^^ ： P m C5.7) 

证明提示 . 要证明关于 （3.1) 的陈述，只须 证明： 对每一个〖，有 

2(- l )-(^) S v ^0. (5.8) 

利用 （5.3) 将不等式 （5.8) 的左边写成的线性组合，则对于 


系数等于 



后者之和为广―爪^，所以 (^< N ) 的系数是正的，故得证[参看 2. 12节 

问题 13]. 关于更深刻的不等式，读者可参考本章开始时曾提到过的那篇弗雷谢的 
专著. 


4. 6 习 题 

注： 本节恒设所有可能的排列都是等概的. 

1. 从放有 10 双鞋子的橱柜里任取 4 只鞋子，试求所取出的 4 只鞋中至少有 2 只配对的 
概率. 

2. — 次掷出 5 个骰子，试求其中至少有 3 个点数相同的概率（并用 2. 5 节的方法验证 之)， 

3 . 把一个硬币扔 5 次，试求正面至少连续出现 3 次的概率_ 

4. 把一个硬币扔10次，求正面至少连续出现5次的概率. 

5. 在上述两题中，以骰子代替硬币，么点代替正面，求其相应的概率， 

6 . 把两颗骰子掷 r 次，试求在对于（1，1)，（2,2)，一，（6,6)中，每对至少出现一次的概 

率 Pr. 

7. —副桥牌中的 四同. 4 张面值相同的牌我们称之为四同张.因此，一副 13 张中可以有 0, 
1,2 或者 3 个四同张.算出对应的概率_ 

8. 有放回 抽样. 从一个具有〃个人的总体中抽取一个大小为 r 的样本•求出 N 个指定的人 
全被抽在样本里的概率心[这就是 2. 11节问题 12]. 
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9. 无放回 抽样. 在现在无放回的情形回答类似习题8的问题，并证明习题8中有 u r — p N 
(这就是 2.11 节问题3,不过用现在的方法可推出一个完全不同的结果.试证它们 
恒等 . 

10. 在 N 阶行列式的一般展开式中，包含一个或多个对角线上的元素的项数其有 N !^ ，其 
中 A 由 （1*7) 所确定. 


11 . 把8只国际象棋的车放在棋盘上，使得彼此都不能被吃掉 1 而且没有一个在白色的对角线 
上.试证这种放法的总数是8! (1 — A )， 其中巧由 （1.7) 所定义， 而 N =8. 

12. —个抽样（优惠券收集者）问题.一副由 s 类，每类有〃张所构成的牌中，每一类都标有 
数字1，2,…从这副牌无放回地抽取一个大小为的随机 样本. 算出每一个标号都 
出现在样本中的概率(把这情形应用到5=4，《= 13的桥牌中去，我们得到一副 r 张桥 
牌中包含全部13种面值的 概率； 而应用到 s =13, 的情形中去，我们得到四种花色都 


拿到了的概率 .） 

13. (续上题)，证明当 s — ⑺时有其中最后一个表示式由 （2,3) 所定义•这 
就意 味着： 在极限情形，我们的抽样变成了从一个具有数字1，2,…，72的总体中的有放回 


的随机抽样. 

14. (续上题).从习题12的结果推 出：当 r 〈 n ， 有 

公 (— 1)*(=)(«5 — /b) r = 0 ， 

k = 0 泛 

当 r — n 时有 

公 (―1/ (^) (ns — = s n n !. 

用求 




{ 1 — (1 — x) s } n 


在: T =0 的 r 阶微商的办法验证上述方程. 

15. 在抽样问题12中，求出恰巧抽「次就得到了全部数字的概率 • 考虑5 的极限情形 * 

16. 一 个细胞中含有 N 个染色体，其中任意两个之各部分都可以交换_如果发生了 r 对交换 


(共有种不同的方式发生），求出恰有 w 个染色体卷入其中的概率 2 . 

17. 从一副纸牌中，任意取出5张，求5张中恰好缺少 A 种花色的概率_ 

18. 试求在任取13张的桥牌中，恰有 々对同 花的爱司和老开的概率， 

19. 复相合 • 各 N 张不同的两副牌，每副同时与第三副相同的牌进行随机相配，求恰有 m 个 
复相合的概率‘，并证明当 N — ⑻时， uo — 1 [这告诉我们当时， 0]. 

20. 复相合.前题中的做法可修改 如下： 从 2 N 张牌中任意取出 iV 张，并将此 N 张与第三副 
牌进行随机相配，求没有一个相合的概率，并证明当 N—CO 时，这概率趋于 1/e. 

21. 复 相合. 在习题20中，若将两副牌改为 r 副牌，求其相应的概率* 


1. 按国际象棋规则，车可吃横、纵直线方向上的 棋子. -编者注 

2. 当 JV =6 的情形，参见 [26]. 


22. 在古典占位问题中，恰有 m 个盒含有 6 个物体的概率 P [m] (H 是 


23 * 

24. 


(k) 


p^ (k) = tlA)：nMy ( — 1V _ (n-jY^ _ 

WV ^ m\n r ^ (r-jk)\ 

式中的和号是 对»讲且）<〃， 求和. 

证明当々=1时，第2节最后一段的叙述是正确的. 

在波司-爱因斯坦统计中，利用 （3.1) 可导出恰有 m 个空盒的概率. 
用第2章中的公式 （11.14) 来验证24题中所得到的公式. 


(k]) j 


26. 对 iV 作归纳法证明公式 （1.5). 
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这一章重新开始系统地讲述概率论的一些基础知识. 

5. 1 条件概率 

条件概率的概念是概率论中的一个基本工具，然而不幸的是，由于使用了个别 
粗糙的术语其简明性反而显得不清晰了.下面的讨论是用一种比较自然的方法来导 
出其形式的定义. 

预备例子 设在 N 个人的总体中，有％个色盲者而且有〜《个女的.若事件 A 
及 H 分別表示随机选取的一人是色盲的及是女的（随机选取的定义可参见第 2. 2 
节），则 

P { A } P{H) (1.1) 

现在，以所有女人组成的子总体代替总体的位置，我们来计算从女人中随机选出的 
一人是色盲的概率.这概率是 AU / Nh ， 其中 N # 是色盲女人的数目.这里，我们没 
有用什么新的概念.但是，在研究某个特定的子总体时，我们需要用一个新的记号 
来表达.一般所采用的符号是 P { A | H }， 可读为“在事件 H (所选出的人是女的） 
发生的假定条件下，事件 A (色盲者）发生的概率”.采用符号 

P{A\H}=^ = ( 1 . 2 ) 

显然，每一个子总体本身总可以被考虑为一个总体.为了语言上的方便，我们 
说一个子总体时，意思就是说背后还有一个较大的总体.保险公司可能对由于雷击 
(事件 A ) 引起的要固定赔偿的灾害频率是多少感兴趣.一般来说，保险公司的保险 
项目有好几类，如工业的、都市的、乡村的等等.单独研究工业项目的保险费意味 
着只研究事件 A 联系于事件 H 的情况——“保险费是花在工业项目上的”.这时显 
然可以应用公式 (1.2). 然而 注意： 对于一个只经营工业保险的保险公司来说 ， H 
与整个样本空间重合，因而 P { A | H } 变为 P { A }. 

最后，我们考虑坐在北边打桥牌的人.一副桥牌一旦分好了以后，他就知道手 
中的牌，因而他感兴趣的是剩下的那39张牌的分布.把这39张桥牌的一切可能的分 
布的集合作为样本空间是可以的，但是，把它们和北家手中的13张牌（事件 H ) 联 
系起来考虑并且讨论假定事件 H 实现时事件 A (例如南家手中有2张爱司）的概率 
就会更方便一些.仍可应用公式 （1.2). 

类似（1.2)，我们现在来引进下面正式的 定义： 
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定义 命 H 是一个具有正概率的事件.对于任何事件 A , 我们记 

P{A | H) = (1.3) 

这样定义的量称为在 H 假设下 （或 者给定 H ) A 的条件概率. 当所有的样本点都是 
等概的时候， P{A\ 就是 A 和 H 的公共的样本点的数目与 H 中的样本点的数目的 
比 N ^ h / Nh . 

当条件假设 H 的概率是零时，条件概率 P { A | H } 就没有定义了.在离散样本空 
间的情形，这一点是无关紧要的，但是，在一般理论中却是很重要的. 

虽然记号本身是实用的，但是要用词句表达它却很麻烦，实践中我们 
采用较为简略的描述，例如，在上面所提到的例中，我们用一个女人是色盲的概率 
的描述来代替“在假定已知为女人的条件下，随机选取一人是色盲者的条件概率”. 
我们经常以“若知道 H 已发生”来代替“在 H 的假定 下”. 总之，我们的公式与记 
号是很明确的，而词句的表达往往是非正式的，因而需要读者有正确的理解 • 

为了称呼上的清楚起见，对样本空间中的概率，有时我们用 绝对概 率这个名称. 
严格地说，“绝对”两字是多余的，可以略去. 

对于一个特定的假设考虑各种事件的条件概率就相当于把 H 视为一个新的 
样本空间，并且，为了使新的样本空间的总概率为1，需将原空间中所有事件的概率 
都乘上因子这种表述 说明： 所有概率的一般定理，对在任何特定假设 H 
下的条件概率依然 成立. 例如，我们可以叙述 A 或 B 或二者同时发生的概率的基本 
关系 如下： 

P{A[jB\ H} = P{A I H}+P{B i H}-P{AB \ H). (1.4) 

类似地，第 4 章中关于 JV 个事件有 m 个实现的概率的全部定理改为条件概率的情形 
也仍然成立.但是，我们并不需要它们. 

公式 （1.3) 在应用中往往以下述形式 出现： 

P{AH) = P{A I H) • P{H). (1.5) 

这就是所谓复合概率 定理. 为了推广到三个事件 A ， B ， C 的情形，可先取 H = BC 作 

为假设事件，并再一次利用公式（1.5)，即得 

P{ABC\ = P{A I BC) • P{B I C } • P{C). (1.6) 

这可直接推广到四个或多个事件的情形 • 

最后，我们来讨论一个简单而又常用的公式.设是一组完备互斥事 
件且必有一个事件发生（即汗，…，之并集是整个样本空间，且汗，…，氏是互 

不相容的），则任何事件 A 只可能与某个/^联合发生，即 

A = AH, U AH 2 U … U AH„. (1. 7) 

由于诸是互不相容的，故 A 的概率是 AH , 的概率之和，再利用 （1.5) 于只二 

H } , 即得 

P { A } = SP { A | H ,} P { H ,}. (1.8) 
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这个公式是很有用的，因为计算条件概率有时要比直接计算概率 P { A } 容易 

— jtfc 

例 u ) 无放回抽样.从一个拥有《个元素 i ，2, …，;1的总体中抽取一个有序的样 
本.令；和是两个不同的元素，假定 i 是第一个被抽出来的元素（事件 h )， 第二 
个元素是(事件 A ) 的概率是多少？显然， P { AH }= l / n ( n ~ l ), P { A \ H } = 
l /( n - l ). 这 说明： 第二次抽取是对于具有〃_1个元素的总体来进行的，其中每一 
个元素被抽中的概率相同.事实上，随机抽样最自然的定 义是：‘ ‘当前 r 次抽取完成 
后，剩下的 w — r 个元素中的任何一个在第 r + 1 次被抽取的概率都是 l /(«— r )” •这 
个定义等价于第2章所给出的定义，但是我们不能在较早时叙述它，因为其中包含 
了条件概率的概念. 

( b )4 个球连续地放进4个盒里，全部4 4 个排列都是等可能的.给定前两个球放 
在不同的盒中（事件 H )， 某一个盒恰巧有3个球（事件 A ) 的概率为何？给定 H ， 

事件 A 有两种不同的方式发生，所以 P { A | H }=2 • 4 - 2 = j . (可以容易地直接 验证: 


事件 A 和 AH 分别包含12 • 42 和12 • 2个样本点 .） 

( c ) 性别的分布.考虑恰有两个小孩的 家庭. 今以 b，g 分别表示男孩或女孩.假 
定年长的孩子的性别用前一个字母来表示，则有4种可能的情形仏48^13^ & 这4 
个样本点的每一点都赋以概率 1/4. 若已知一家有一个男孩（事件 H )， 问这一家的 
两个小孩都是男孩（事件 A ) 的概率是多少？因事件 AH 即 bb ， 而事件 H 为 bb 或 
bg 或 gb ， 所以 P { A | H } = 1/ 3 ， 即在具有特征 H 的所有家庭中，大约有1/3的家庭 
可以预期发生事件 A . 这是很有趣味的，因大多数人所想像的解答总是 1/2. 事实 
上，1/2却是另一个不同问题的正确解答，这问 题是： 随机地遇到一男孩，并发现他 
是属于有两个小孩的家庭；问这家庭的另一个小孩也是男孩的概率为多少？这两个 
问题的不同之处可解释 如下： 在第一个问题中，我们所面临的是一系列的家庭，而 
第二问题则是面临着一系列的男孩，对于后者，有两个男孩的家庭共有两种可能情 
况，这就说明了这两个结果的不同之处. 

( d ) 分层总体.假定一群人由一些子群或者阶层 HuH 2 , …所 构成. 这些可以是 
民族、年龄、职业等等.令 A 为任取一人属于的概率•说中的一个人是左 
撇子的概率是 A ，，， 意思 是指： “在此人属于•的假定下事件 A (左撇子）的条件概 
率”. 随机地抽取一个人，他是左撇子的概率为/>1&+/ >2 奶+/ >3 仍 + …，这是 （1 _ 8) 
的一个特殊情形.假定此人是左撇子，他属于的条件概率为 


P{Hj 


A) 






Pl<h + 户 2<72 + 


« ■ » 


(1-9) 
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在前一节里，我们认为概率当然是定义在样本空间中的，并且只计算了一些条 
件概率.在应用中，许多实验都是用某些特定的条件概率（虽然通常把形容词“条 
件”省略了）来描述.在理论上这意 味着： 样本空间中的概率可由给定的条件概率中 
推导出来.曾经指出过 [5.1 节例 ( a )] 无放回抽样的最好的定 义是： 不管前 r 次抽 
取的结果是什么，在第 r +1 次抽取时，剩下的每一个元素被抽出来的概率都是一样 
的.类似地，在 5.1 节例 （ d ) 中，我们的分层总体完全被若干层的绝对概率 A ， 和 
每一层中的特性“左撇子”的条件概率％所描述 • 下面列出了较多的例子来启示一 
般的模型，可能比直接描述更有效. 

例 U ) 在第 1.5 节例 （ b ) 中，我们曾经考虑过三个游戏者 a ， b ， c 在一场游戏中 
互相替换的问题；我们曾经描述过样本空间中的点子，但是没有赋概 • 现在我们假 
定这场游戏这样进行：在每一次游戏中，任何两个对手中每一个获胜的概率都是 
1/2. 虽然这种叙述并未包含“条件概率”这个词，但是却无形中与它有关联.譬如 
说： 如果某游戏者 a 参与第 r 轮（事件 H )， 则他在这一轮获胜的概率是 1/2. 由方 
程 （1.5) 推出，游戏者 a 在第一次和第二次游戏都获胜的概率是 1 A ， 用符号来表 
示，即是 P { aa } = l /4. 重复地应用 （1.5) 可证： P { ac C ) = l /8， P { acbb } = l /16, 等 
等.即是，方案 （*) 中包含 r 个字母的样本点具有概率2这就是第 1.8 节习题 
5中所赋予的概率，但是现在的描述更直观（在 5. 8节习题 I 4 中继续). 

( b ) 家庭.我们要解释下面的 叙述： “一个家庭恰有々个小孩的概 率是九 （其中 
2九=1).对于每一个家庭来说，所有的性别的分布都是等概的.”令 b 表示男孩 g 
表示女孩，我们的样本空间由样本点0 (没有小孩）， b ， g ， bb , bg ， gb ， gg ， bbb ， …所组 
成.引号里面的第二个假定可以更明确地叙 述为： 如果知道该家庭恰有〃个孩子， 2" 
个可能的性别分布中的每一个都具有条件概率而这假设的概率是九，于是从 
(1.5) 我们 看出： 《个字母 b 和 g 的每一种排列的绝对概率都是 • 2 _n . 

注意这是分 层总体 的一个例子.孩子数为 j 的家庭构成第） 层味. 作为一个例子， 
令 A 表示事件“该家庭有男孩无女孩”.显然，其概率为 P { A }= A 2- 1 + p 2 2— 2 + …，这 
是 （1.8) 的一个特殊 情形. 在这种情形下，假设就是“家庭有 j 个小孩”.现在我 
们问： 如果知道一个家庭没有女孩，该家庭仅有一个小孩的（条件）概率是多少？其 
中 A 是假设.令 H 表示事件“仅有一个小孩”，则表示“一个小孩而没有女孩”， 


而且 


P{H | A ) = 


P { AH } _ Pi 2 r ^ _ 

P { A ) — p x 2- 1 + p 2 2' -2 + p 3 2= 3 + … 


( 2 . 1 ) 


这是 （1.9) 的一个特殊情形. 

( c ) 有后效的罐子模型. 为了确定起见，我们考虑一个容易出事故的工业 系统. 
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事故的发生可以用一个机会游戏的结果来描述.一个罐子里有黑球和红球，在每一 
段规定的时间区间里随机地取一个球，红球代表事故出现.如果事故出现的可能性 
对时间来说保持不变，则 “ 罐子的成分”是常常相同的.但是可以想像，每一个事 
件是有一个后效的，可增加或者减少一次新的事故发生的可能性.这对应于一个成 
分可以改变的罐子，其成分根据依赖于顺续抽取的结果的某种规则而改变.容易构 
造这样一个规则去概括各种情形，但是，我们只讨论下面的模型 S 

罐子模型. 一 个罐子中包含6个黑球与 r 个红球.随机地抽取一个球 • 看了颜色 
再放，并且还要另加进 c 个与所抽出的球具有同样颜色的球和 d 个相反的颜色的球 
(这时罐子中就有 r +6+ c + d 个球了），这种手续反复地进行，其中 c 和 d 是任意的 
整数. c 和可以取为负数，不过在这种情形下经过有限次取球以后会因为无 球而停 
止.特别地，取(=一 l ， d =0, 则我们的抽样就变成了无 放回的 抽样，它在次以 

后就结束. 

现在，我们转向数学描述. 注意： 某些基本的概率可以通过它所确定的条件概 
率来计算.对应于《次抽取的样本空间的典型的描述法是用《个字母 B 和 R 的序列 
来代表其样 本点. 事件“第一次取出的是黑球”（即是第一个字母是 B 的全部序列所 
构成的集合）的概率为如果第一个球是黑的，则第二次抽出的球仍为黑的 
(条件）概率为 (6+ c )/(6+ r + c + d ). 因此，由 （1.5) 得知序列黑，黑（即是以 BB 

开始的样本点的全体）的（绝对）概率为 

b b~\~ c _ 广 99 、 

bT~r m b + r~\~c + d' * 

序列黑，黑，黑的概率为 （2.2) 乘以 （6 + 2 c )/(6+ r +2 c + 2 d )， 等等.显然，用这 
种办法可以算出每一个样本点的 概率. （当然，当 c 和^是负时，取球的次数《必须 
选得足够的小，以避免球的个数出现负数 .） 用归纳法可以容易地 验证： 所有的样本 

点的概率的和必须为 1. 

概率的显式表达式不是很容易得到的，除非在下面要介绍的一个最重要的而且 
著名的特殊 情形： 

波利亚罐子模型， 其特征是 d =0， c >0. 每一次抽取以后，这时与取岀的球有相 
同颜色的球的数目增加，而与取出的球的颜色不同的球的数目保持不变.在效果上 
看，每一次取出的球是什么颜色增加了下一次也取到这种颜色球的概率，因此，我 
们得到了一个如 传染病 现象的粗糙的模型，其中，每一次传染以后都增加再传染的 
概率.在 ”次抽 取中，先取出叫个黑球后取出 n 2 个红球（叫+” 2 ^/?)的概率是 

6(6 + c)(6+2c)“. （6 + ?7 1 c — c) • r0 + c)...0+y2 2 c —cO (2 3) 

(6 + r )(6 + r + c ) (6 十 r + 2 c ) … （6 + r + nc — c ) • 


1. 用罐子模型去描述后效（传染病）似乎是由波利亚 （Polya) 提出的.在一些文献中讨论的许多模 
型都把他的方案（最初在 [27] 中引进）作为典范.本书中所描述的模型及其三种特殊情形是由弗 
雷德曼 （B. Friedman ) (参见[ 2 8])所提出. 
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考虑 n 个抽取为〃 i 个黑球，个红球的其他抽取次序，计算其概率，发现因子是相 
同的，只是排列的次序不同.因此可得到抽 出&个 黑球和 个红球的所有可能的抽 


取方式具有相同的概率，此为波利亚模型在分析上的简明性，分子分母同乘以 


即所有排列的数目，利用广义二项式系式得下列形式: 


P n' ， n 


(«i 


l + b/c 


—1 + r/c 


b/c 


rj c 




1 + (6+ r)/c 


—(6 + r)/c 


(2,4) 


n 


n 


(波利亚模型在问题 18 〜 24 中继续讨论，还可参看第 17. 10节习题9和 10.) 

除了波利亚模型以外，我们的罐子模型还包含另一个有趣的特殊情形， 即是： 
两个隔离壁之间热交换的爱伦费斯特 （ Ehrenfest ) 模型 [29 ‘ 3 ° ] _如物理学家所应用的 
那样，在最初的描述中，爱伦费斯特模型考虑的是 A 个质点分布于两个容器中的情 
形.随机地选取一个质点把它由它所在的容器移到另一个容器中去.这种手续反复 
地进行.问 〃步以 后质点的分布如何？为了把它化成罐子模型，只需把第一个容器 
中的质点叫作红球，第二个容器中的质点叫作黑球.于是在每一次抽取中，球抽出 
来后再换上一个相反的颜色的球，即是显然，在这种情形下，这种过 
程我们要继续多久就可以继续多久（如果没有红球，则自动地抽出一个黑球并换进 
一个红球).[在第 15. 2节例 （ f ) 中.我们将用另一种方法讨论埃伦费斯特模型 •] 

对 c =0, 尤 >0的特殊情形，曾经由弗雷德曼提出作为一个安 全运行 模型. 每当发 
生了事故（即红球被取出），安全运行就抓紧 一些； 而当没有事故发生时，安全运行 

就放松一些，于是发生事故的概率就增大. 

( d ) 层迭的罐子模型，假 传染. 为了继续沿着上一个例子的线索进行讨论，我们 
假定每一个人都可能遇到意外事故，而且它们的发生取决于从一个罐子中随机地取 
一个球所得的结果.然而，这时我们假定是无后效的，所以，罐子中的成分在整个过 
程中保持不变 • 因为意外事故出现的机会或倾向性可能会因人之不同而不同，会因 
职业之不同而不同，所以我们设想每一个人（或者每一种职业）都有他自己的罐子 • 
为丫避 免不必要的复杂性，我们假定只有两种人（或两种职业），而且其数目之比为 
1:5. 然后，我们考虑第一个罐子含有 n 个红球与 h 个黑球，第二个罐子含有 o 个 
红球与6 2 个黑球.“随机地选取一个人，并考察他在 n 个单位时间内发生了多少次意 
外 事故” 与下述实验 相当： 掷一颗骰子，如果么点出现，则选第一罐；否则选第二 
罐.在每一种情形下，都是从这罐子中作《次有放回的随机抽取.我们的实验描述 

了一个保险公司接受新的保险户时应做的预测 * 

利用（1.8)，我们 得出： 第一次抽出的球是红的概率为 


P{R} 

而序列红，红 （ RR ) 的概率为 



(2.5) 
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P { RR } 






b 2 + r 2 



( 2 . 6 ) 


在我们的模型里，并没有包含什么数学问题，但是，它却具有一个很有趣的性 
质，这种性质在应用中会引起很大的混乱.假定我们的保险公司观 察出： 一 个新的 
保险户在第一年中发生了一件意外事故，从而他关心这一个新的保险户在第二年发 
生意外事故的概率.换句话说，假定第一次抽出的是红球，我们问序列 RR 的（条 


件）概率是多少？显然，比 P { RR }/ P { R } 不等于 P { R }. 为了解释这 一点， 我们假定 


6和~ 八匕 + r 2 ) = 0.06. 于是在任一次抽取中，取出红球的概率为 
0.15,但是，如果第一次抽出的是红球，则第二次抽出的仍然是红球的概率为 0.42. 
注意： 我们的模型在整个的总体中是无后效的，但对一个随机地选出的人来说，他 
发生了一件意外事故以后会增加此人发生第二次意外事故的可能.这里，我们得到 
了抽样的影响.一次意外事故的发生并不真的产生什么影响，但是它却指出随机地 
选出的人发生意外的可能性有增大的倾向.为此，后续观察结果会使我们获得对将 
来的预测的改善，虽然实际上这种将来一点也不被过去所影响. 

在统计文献中，习惯于用传染这个词来代替后效.抽样表面上的后效性最初误 
解为其实的传染效果，所以统计学家现在说到传染（或传染概率分布）时都是含糊 
不清的.例如，生态学家在田野里找寻昆虫.经过长时间的搜寻他找到了一个昆虫， 
他会 断言： 有巢穴，大概在附近，而且他再找到一些昆虫的机会是很 大的. 换句话 
说，在实际中每一次成功将加大下次成功的概率，然而这仅是因为样本给我们提供 
了增加了的信息量而已.显然，这其中并未包含任何后效性，统计学家把这个说成 
是传染，这是易于引起误会的. 

( e ) 下面的例子是很著名的，同时具有例证的作用，只可惜有些人为造作.设想 
一个总体中有 iV +1 个罐子，每个罐子都有 N 个球，在第々号罐子中有 A 个红球与 
iv —々 个白球 a = o ， i ，2, …， jv ). 今从 iv + i 个罐中任意取出一罐，并从这罐中作有 
放回的 n 次抽取.假设取岀的 n 个球都是红球（事件 A )， 求在下一次 （第〃 +1次) 
仍然取出红球（事件 B ) 的（条件） 概率. 设第一次所取的罐子是第々号，则在以后 
”次取球中都出现红球的概率是 （ VN )' 因此，由 （1.8) 我们有 


P{A) = 


l n + 2 H - \~ N n 

~ "N tt (N+l) ~~ 


(2.7) 


事件 AB 表示相继 U +1) 次取球中都出现红球，于是有 


P{AB} = P{B} 


1 卄 1 + 2 吐 1 H - h N^ 1 

N^(N+1) 


( 2 . 8 ) 


故所求的概率是 P {B I A} =P {B} /P {A}. 

和 （2,7) 与 （2,8) 可考虑为近似于积分的黎曼和.因此，当 N 相当大时，有 


P{A ] 义 


N n (N+l) 



N 1 
N + V n+1 



?? + 1 • 


(2.9) 


故对足够大的 N ， 把类似的计算用到 （2.8) 中去，我们有 
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P{B I A } ^ 


n + 1 
n + 2 m 


( 2 . 10 ) 


公式 （2.10) 可粗略地解释 如下： 若罐中所有的成分都是等概的，且在 n 次有放回的 


取球中都出现红球，则在第 n +1 次取球中仍然取中红球的概率是(《+1)/(〃+2).这 
就是所谓拉普拉斯 (1812) 延续律. ► 

关于贝叶斯 （ Bayes ) 公式的附注 .在 （1.9) 与 （2.2) 中，我们曾经直接从定义出发来 
计算某些条件概率.我们 建议： 初学者最好这样做，而不要去死记我们现在将要导出的公式 
(2.12). 公式 (2.12) 追溯到我们曾讲过的特例的普遍情形，其实它仅是公式 （1.3) 的另一 
种写法，设有一组完备互斥事件…，即每一个样本点必属于一个而且也只能属于一个 


则我们所感兴趣的是 


P { H k | A } - 


P { AH k ) 
PiA ) - 


( 2 . 11 ) 


若将公式 （1.5) 与（1_8)代入（2*11)，则有 


P { H k | A } 




P{A 1 H k ) P { H k ) 
丨 


( 2 . 12 ) 


若将事件称为原因，则 （2.12) 成为“关于原因概率的贝叶斯法则” • 在数学上， (2. 12) 
不过是公式 （1,3) 的一种特殊写法而已，而在上述例 Cb ) 与 （ d ) 所描述的类型的许多统计 


应用中，公式 (2. 12) 是很有用的_但遗憾的是，由于对例 （ e ) 类型的结果形式地乱用，以 
致使贝叶斯公式不被人信任_在实践中，这种论证可能出毛病， 一 个质量控制的工程师关心的 
是某架指定的机器，而不管这架机器是否是从无穷多个机器的总体中任意抽取出来的.仅仅是 
基于逻辑上的可以接受同时又附合我们的想法，他就采用贝叶斯公式 ■ 普拉多 （ Phto ) 曾用 
这种论证来证明大西洋的存在，而哲学家们用它来证明牛顿力学的荒谬.但是对于我们工程 
师来说这种论证忽略了如下的 情况： 工程师期望成功，并且他可以估计与减小来自预测和猜 
测的各种错误，以便作得更满意.近代统计检验与统计估计的方法虽然较少直观性，但颇实 
在_因此，它不仅是被证明为正确的，且事实上可以应用 • 
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在上面诸例中，条件概率—般地不等于绝对概率通俗地说，事 
件 H 是否发生的信息会改变我们对事件 A 出现的把握.只有当时， 
这种信息才不能影响我们对于事件 A 的发生与否的推想.这时，我们就说： A 与 H 

是随机独立的.但公式 （1.5) 表明了条件可以写成如下的 形式： 

P { AH ) = P { A } • P { H ). (3.1) 

这等式关于 A 与 H 是对称的，并且还说明当 A 与 H 随机独立， H 与 A 也随机 独立. 

因此，我们最好是从下面对称的形式来下 定义： 

定义1 两个事件 A 与 ff 称为是随机独立的 C 或简称独立），若等式 （3.1) 成 

立.当时，虽然是没有意义的，但此定义仍可采用.统计独立是 
随机独立的同义词. 
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例 U ) 从一副纸牌中任取一张，由于对称的理由，我们可期望出现“黑桃”的 
事件与出现“爱司”的事件是独立的.事实上，它们的概率分别是1/4，1/13,而它 
们同时发生的概率确是 1/52. 

( b ) 拋掷两颗骰子，“第一颗骰子出现么点”的事件与“第二颗骰子岀双数点” 
的事件是独立的.因为这两事件同时发生的概率是3/36 = 1/12,而这正是它们分别 
的概率1/6与1/2之积. 

( c ) 在 (a ， b ， c ， d) 四个字母的排列中， “ a 在6前”与 “ c 在 of 前”是独立的.这 
在直观上是显然的，并且也容易验证. 

( d ) 性别分布. 我们回到 5.1 节例 （ c )， 但现在所考虑的是有三个小孩的家庭， 
并假设所有八种 PJ ■能情况 bbb ， bbg ， …， ggg 各有概率 1/8. 令 H 是“家里男女孩子都 
有”的事件，而 A 是“家里至多有一个女孩”的事件.于是尸{只}=6/8,尸(焱）= 
4/8, A 和 H 同时发生意味着有如下可能 bbg ， bgb ， gbb^JfW P { AH }=3/8 = P { A}X 
P { H }. 于是，在家庭中有三个小孩的情况下，这两个事件是独立的.但是，当所考 
虑的家庭有两个或是四个小孩时， A 与 H 就不再独立.这说明了是否具有独立性并 
不总是显然的. 

若事件 H 发生，则其逆事件就不发生，反之亦然.随机独立性隐含着不能从 

事件 H 的发生作出对事件 A 的任何推断.因此， A 与 H 的独立性也就是 A 与的 

独立性（由于对称性，，与只及 A ' 与 f /' 也是独立).利用 P { H 7 } 二 1 —P { H } 就 

很容易验证这个结论 • 若公式 （3.1) 成立，则（因 

PiAH '} = P { A }- P { AH } = P { A }- P { A } P { H ) 

= P { A } P { H '} 9 (3.2) 

这正是我们所期望的. 

现在，设三个事件 A ， B 与 C 是两两独立的.于是 

P { AB } = P { A } P { B }， 

P { AC ) = P { A } P { C }, (3.3) 

P { BC ] = P { B } P { C ). 

人们可能猜想，两两独立总会隐含着像 AS 与(：那样的一对事件的独 立性. 但是，这 
不一定对，我们可以举出反例说明 （3.3) 虽然成立而 P ( ABC )==0. 从而 AB 与 C 就 
不会独立了.这种情况很少见.直到伯因斯坦构造过一个人工的例子人们才发现了 

这种可能性.然而现实中仍然是可行的例子. 

例 （ e ) 考虑字母 a ，6， c 的6个排列，再加上3个三元组 (a ， a ， a) ， ib ， b ， b 、， U ， c ， 

c ) 这9个三元组构成一个样本空间，对此样本空间中每一个样本点赋概令4是 
字母 a 出现在第々个位置（6 = 1，2,3)的 事件. 显然此三事件中每一事件之概率均为 

如而 
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PiA^} = PiAA,} = P{A 2 A 3 ) = f. 

故此三事件中两两独立，但是由 j 因此三事件并不相互独立（息和氏 

都发生蕴涵了為发生），故 A 3 与 A x A 2 并不独立. 

我们还可举更多的例子. 令払和 Q 分别表字母6和 c ■分别 在第々 个位置.我们 

可得9个事件而每一事件的概率都是显然 1 丨=|，而且一般地，只要 C ；. 

与艮的下标 ）关纟， 两事件独立.另一方面，出现在前两个位置的字母惟一地决定于 
出现在第三个位置的字母，所以 C 3 与下述9个事件中的任何一个都不独立，这9个 
事件是前两个位置出现字母6和 c 的不同 排列： B 1 B 2 QC 2 2 . 在第9章第1节我们 
还要回过头研究这个例子 . 5. 8节习题26中还进一步提供了一些例子. ► 

要使随机独立性的概念合理，除 （3.3) 必需满足外，还要添加下面的 条件： 

P{ABC) = P{A}P{B}P{C). (3.4) 

这等式保证了 A 与 BC 的独立性，并且也保证了， B 与 AC ， C 与 AB 独立.甚至还 

可以证明 AUB 与 C 也是独立的.事实上，由第1章的基本关系式（7.4)，我们有 

P{(A U B ) C } = — P { ABC }. (3.5) 

把 （3. 3) 与 （3.4) 代入 （3.5) 的右边，则可去掉一个公共因子 P { C }， 而余下的 
因子是 P { AB } = P { AUB }， 于是 

P{(A U B)C) = P{A U B}P{C). (3.6) 

这样 一来， 可以相信，在两个条件 （3.3) 和 （3_4)成立 之下，可以毫无困难 

地 证明： 凡能用 A 和 JB 的组合所表示的事件均与 C 独立. 

定义2事件 A ， A 2 ，…， A „ 称为相互独立的，如果对所有可能的组合 Ki < j < 
k 〈… 以下的乘法规律成立： 

P { A ^ Aj } = P { Aj } P { Aj } y 

PiAAA ^^ PiAAPiA ^ PiA }, (3*7) 


第一行代表个等式，而第二行代表个等式，……，等等.因此，所要满 
足的条件共有0 + 0 +…0= (1 + 1)”一0 —0 = 2 n — « — 1个.另一方面， 


1. 自此以后至例 （ e ) 结束，原书将 C 误印为 A . 译者特此订正 • ——译者注 

2. —般的 r - 元组 ( r >3) 的构造.样本空间共 （ r [ + r ) 个样本点，其中有 d 个由”个符号 
ai ， …，… 构成的排列，另 r 个是全为~的 r 元组 （j = 1 ，…， r ). 对前一类排列中每个赋概 
1/ r 2 ( r — 2)!，而对 （~，~，".， a 7 ) 赋概 1/ r 2 . 令 A 是 q 在第々个位置出现，则 {A } 两两独 
立，但任意三个都不相互独立. 
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第一行的个条件足以保证这些 A 的两两独立性.方程组 （3.7) 看起来似乎是一 

个复杂的条件组.但是，它们的成立往往是明显的，而且不需要验证.由归纳法可 
知[从和 （3.2) 出 发]: 

在定义2中，系统 （3.7) 可以由 2" 个方程所构成的系统来代替，这些方程组是 
从 （3.7) 的最后一个方程把任意个 A ; 换为它们的互补事件 A / 而得出的， 

两两独立与相互独立的区别在理论上的意义远胜于实际上的意义. 

5.4 乘积空间•独立试验 

我们终于到了该引进经验术语的数学表述的时候了，这些经验术语有连续试验， 
重复观察，两个样本的合并，两个试验的组合和把它们作为全体的一部分来处理等 
等-特别地，“独立试验”对应于直观概念中的“在相同条件下的重复试验”.这是 
概率论中的一个基本概念.以下还将要用许多例子来说明它的实际意义. 

首先引进一个没有什么概率意义的概念.两个集合 A 和 B 的组合乘积是 一个集 
合，该集合由 A ， J 3 中的元素的有序对 （ a ， fe ) 的全体所构成，证此组合乘积为 CA ， 
B )! 此定义可推广到三个集合的组合乘积 （ A ， B ， C )， 四个集合的组合乘积 （ A ， B ， 
C ， D )， 甚至无穷多个集合的组合乘积. 

组合乘积这一概念是如此的自然，以致此前我们就已含蓄地用过 多次. 例如， 
扔三次硬币的理想实验，可以用含8个样本点的样本空间来描述，这 S 个样本点就是 
字母 H 和 T 的8个三元组.这就 是说： 样本空间是三个空间（集合）的组合乘积， 
其中每个由两个点（或元素） H 和 T 所构成.更一般地，当说及二个相继的试验时， 
我们指的是一个样本空间©，其中的点代表可能结果对，从而 © 是对应于两次单个 
试验的两个样本空间的组合乘积 • 任给两个具有样本空间 U 和沿的理想实验，可考 
虑它们是同时做的或相继 做的. 后者要求考虑全部可能结果对，也就是说，要引进 
组合乘积空间 （ U ，33) 来作为新的样本空间 • 于是问题出现了，如何在新的样本空 
间中引进概率？回答是随情况而变的.考虑此问题以前，先给出两个例子，它们可 

以澄清概念，解释流行的术语. ^ 

例 （ a ) 笛卡儿 （ Cartesian ) 空间.当平面上的点用一对实数（ 1 ， 30 表示时，平 

面就变成了两个轴的组合乘积.（平面几何可以不用坐标来研究，说明同一空间可以 
用不同的观点来考虑 .） 具有点 （ i ，_ y ， 幻的三维空间可以考虑为三个轴的三元组合 

乘积也可以考虑为1，平面和 Z 轴的组合乘积. 

在平面上，满足条件 o < i < l 和0<^<1的点集是两个单位区间的组合乘积. 
注意： 这种表示法并不是对任意集合都是可行的，例如三角形和 椭圆. 最后，还要 


1. 另一种流行的符号是 AXB . 组合乘积和笛卡儿乘积都通用. 
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指 岀：在 （ xjd ) 空间中，上述二个不等式定义出一个以正方形为底的无穷柱集. 
更一般地，在空间中，任一集合当其定义仅包含工和坐标时，可视其为以生成集 

为底的平行于^轴的柱集. 

( b ) 字母表和词. 令 A 由26个标准字母所构成.则三重积 （ A ， A ， A ) 是字母的 
全部三元组，或者说是全部“三个字母”的词.这种观点已用于通信和编码理论， 
但考虑词具有固定长度就不自然了.确实，只有添加一个新的分离符号（空白）于 
字母，任意长的信息才能考虑.因此，再没必要引进“词”的长度的任何假设.任 
一 有限信息可以视为一个无限信息的开头，恰如任一已写的词可假想是一个序列的 
开头一样.附带地说，通信理论应用任意长的码，正是在它的影响下，现在通行的 
是用任意多个字母符号来表达一个字母表.在这种意义下，人们用“信息”或者长 
为 n 的“词”来描述 n 次重复试验的结果. 

如果 S 为任一由样本点^，巧，……构造的样本空间，则 © 的《重组合乘积 

考虑为以 s 为样本空间的试验的 n 次重复试验的样本空间.一般来 
说，用形如 （ A ，…，: cj 的符号来表示其中的点是很方便的，此处 々是 ( S 中的一个 
点.在例 （ a ) 中，通常^表示为坐标.当然，术语“集合”与“事件”可互相交 
换. 一 般地， “仅依赖于前两次试验的结果” 的事件称为“仅依赖于前两个坐标”的 

集合- 1 

前已论及，所有这些符号和概念均可推广到无究序列 中去. 概念上，这无任何 
困难.十进制数 3. 1415…表示数字 7 T 为无穷乘积空间中的一个点，除了人们宁愿说 
第”位小数而不愿说第72个坐标 以外. 无穷乘积空间是概率论中自然、习惯的用语 • 
扔一个硬币不需要特定扔多少次，一个随机徘徊不需要特定多长.如果我们暗中参 
考一个无穷的试验序列，那将使理论变得更具弹性，更加简单，并把注意力引向仅 
依赖前面少数儿次试验的 事件. 遗憾 的是： 这种形式上简单又很圆满的处理需要测 
度论的知识和技巧.本卷书仅提供概率论的基本概念，不想被技术上的困难所干扰 
和模糊主旨.为了这个原因，本书只限于讨论离散的样本空间，这就要求研究的试 
验仅限于有限多次.这就意味着，为了技术上简单，我们只处理并未特定的或变化 
的样本空间.这种结果，虽然理论上不太令人满意，但它有实际效果. 

现在转而讨论在乘积空间中赋概的问题.第2节中的各种罐子模型，可以用重 
复试验来表述，而且我们已经 看到： 可以用条件概率的方式来定义不同形式的概率 • 
直观地说，可以想像试验之间有各种形式的联系，但是，独立试验或更一般些独立 

实验这一概念的重要性，是其他概念难以超过的. 

为了确定起见，考虑两个样本空间 U 和氾，它们分别由样本点 ai ， cr 2 , …和 
A ， A ， …所构成，这些样本点分别具有概率 A ，办，…和仍，％，….乘积空间 （ U ， B ) 


1. 这就是说，如果 （: n ，: c 2 , …）是此集合中的一个点，那么此集合由一切满足条件/严力’义二幻 
的点…）所构成_ 
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解释为：分别具有样本空间 U 和35的两个相继的实验的样本空间，称这两个实验是 
独立的，蕴涵了 “第一次结果是《，”和“第二次结果是体”这两个事件是随机独立 
的.为此，只有当 （ U ，95) 的概率按下述的乘法规则定义 才行： 

队)] = p t q k . (4.1) 

由于这些概率加起来等于1，故这种赋概法是合法的，事实上，对全部点求和，得一 
个二重级数而此级数就是2 A 与2仏之积 • 

我们 约定： “两个独立实验”总是参考着一个由两个样本空间产生的组合乘积空 
间，而且其概率由 （4,1) 的乘法规则所定义 * 此约定，可推广到个相继的独立 
实验”这一概念. 

我们说重复的独立试验，意即其因子样本空间（包括其中的概率）都是恒等的. 

举例说，这种约定能使我们把 “ 独立地扔”次硬币”简述为：具有2” 个点的样 
本空间且其中每一点的概率均为 21. 

请注意独立实验的下述明显的直观 性质： 令 A 为 U 中由点％ ，〜 ，…构成之事 
件，类似地 J 3 是 B 中由 A ,， A ，…构成的事件，则 （ A ， B ) 是由 （ U ，沿） 中一切下述 

点对 ( a , >所构成的事件，且显然 还有： 

P{(A,B)} = EEp,Q^=(S/> J[ )(Eq,) = F{A}P{B}, (4.2) 

因此，乘法规则可以推广到两个因子空间的任意事件中去，此推理亦可应用到《个 
独立实验中去，并可 证明： 对”个事件 A ! ，…， A „ 而言，若 A * 仅仅依赖于第 6 个实 
验， 则 ，…， 相互独立. 

独立实验理论是概率论中分析上最简单又最现代的一部分.因此，如果可能的话，一个 
复杂的实验解释为一串较简单的独立实验的 结果. 下面的例子说明什么地方这种办法是可 

行的. 

例 （ C ) 排列.我们曾考虑由 A ，❿ ，…，〜的《!个不同排列所组成的样本空间，每个样 
本点赋以概率 1/〃!. 这样本空间也可由相继的 （〃一1) 次试验来表达，现叙述 如下： 先把 a 
写出，第一次试验是 将 a 2 放在山 的 前面或后面，放完屯后， 则 有三个位置可以放置的. 于 
是，第二次试验是将沿放到三个位置中的任一个位置，这就决定了山， A ，❿的一个排列•有 
四个位置可以放置山* 一 般地，当化 ，似 ，…， W 按照某一次序排定之后，我们就进行第纟次试 
验，即把 w +1 放在 At 1个位置中的任意 一个. 换言之，在相继的 （〃一 1) 次试验中，第々次 

试验共有 A + 1 个可能结果（即样本点），且每个可能结果有概率 ■ 由于试验是独立 

的，于是，按照原始的定义，《个元素的任一组排列的概率为4■• + . 

( d ) 无放回的抽样. 设总体是 （ a 〗， … ，…， 〜）_ 在无放回的抽样中，每次抽取都拿掉一个 
元素.因此，在第々次抽取以后，余下的只有々个元素，而下一次抽取可以由该元素所选 
择的第^号…, r 一幻 位置来 描述. 如此，无放回地抽取一个大小为 r 的样本变成相 


1. 概 率论学科外，按上述方法定义的测度称为乘积测度- 

2. 原书错写为 1 A . ——译者注 
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继的 r 次试验，其中，第一次试验有"个可能结果，第二次有77 — 1个，第三次有2个，… 
等等. 在每次试验中，所有可能的结果都赋以相同的概率.假定 r 次试验独立，这就相当于按 
照随机样本的定义，每个大小为，的样本都赋以概率1/(«1 [注意，当；7 = 100，「=3时，样 
本 （ a 13 ， a 4 o ， a 81 ) 表示选取的号码分别为13,39, 79. 我们应该说，第三次试验是从剩下的 
h — 2) 个元素所构成的总体中抽取第79号元素，而对于原来的号数而言，第三次的试验结果 
是与第一次、第二次的结果有关的 .] 我们可以看到，重复独立试验的概念使得我们能把抽样 

问题的研究看成是相继的个别运算. ► 

*5. 5在遗传学中的应用 

孟德尔 （ G . Mendel ， 1822〜 1884) 创始的遗传学理论对简单的概率模型的 
适用性提供了一个富有教益的例证.下面我们只局限于讨论一些最初等的问题. 
在描述生物学的背景的时候，我们必须使之简单化并集中于那些便于数学处理的 
事实. 

遗传性状依赖的特定携带者，称为 遗传因于 1 . 除了生殖细胞或者配子以外，人 
体中的每一个细胞都具有同样的遗传因子结构.明显的事 实是： 遗传因子成对出现. 
读者可以把它们设想为一大堆穿在一段短线上的珍珠——染色体 • 这些染色体也成 
对出现，而配成对的遗传因子在配成对的染色体上处在相同地位.最简单的情形是 
每一对特定的遗传因子中的每一个都只能取两种形式 A 和 a . 因此，可以构成三种不 
同的对子，而且对于这些特定的对子来说，有机体属于这三种 遗传型 AA ， Aa， aa 
UA 与 Aa 不加以区别).例如，豌豆携带这样一对遗传 因子： A 使之开红花， a 使之 
开白花.在这种情况下，三种遗传型可以区分为红花、粉红色的花和白花.每一对 
遗传因子决定一个可遗传的因素，但是机体的可观察到的大多数性质依赖于很多因 
素.对于某些特征（例如眼睛的颜色、习惯用左手）来说，某一对特定的遗传因子 
的影响特别大，在这些情况下，孟德尔定律的效果是容易观察到的 • 其他一些特征 
例如长度，可以设想为一大堆遗传因子的效果的迭加[参见第 10. 5节例 （ c )]. 这里 
我们将要研究一对特定的遗传因子的遗传型与继承的问题，对于这特定的一对遗传 
因子来说，它有三种遗传型 AA ， Aa ， aa . —般来说两个遗传因子有 N 种不同的形式 
人 ， …, A lV ， 因此就有 iV(iV+l)/2 个遗传类 ， … ， AmA. v . 在这种一般的情 
况下，理论需要作一些修正（参看 5. 8节习题 27). 下面的计算也可以应用到当 A 具 
有 显性而 a 是隐性 的情形中去.这就是说， Aa 这个个体与 AA 具有同样的可观察到 
的性质，因此，对 a 因子来说，只有纯 aa 型才会表现出不同的可观察到的影响•不 
完全显性的全部演变在自然界中会 出现. 典型的不完全隐性的性状是蓝眼睛和习惯 
用左手等等. 


* 有星号的小节为处理特殊的主题，可以略去，以下相同. 
1. 原文为 gene , 遗传学中一般都称基因.——编者注. 
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生殖细胞或者配子是由分裂过程所产生的而且它只具有一个遗传因子.纯 AA 
型和 aa 型的机体（或纯合子）只产生一种类型的配子，但是 Aa 型的机体（杂合子） 
产生同等数目的 A 配子与 a 配子.新的机体由两类上一代的配子而得来，而且新的 
机体从双亲的配子得到它的遗传因子.因此每一对都包含一个父系的遗传因子和一 
个母系的遗传因子，而且每一个遗传因子可以追溯到任何一代特定的祖先，不管是 
哪一代的远祖. 

后代的遗传型依赖于一个随机过程.在每-•时刻，每一个上一代的遗传因子以 
1/2的概率传给后代，而相继的试验是相互独立的.换句话说，我们可以把第 n 代的 
遗传型设想为《次独立试验的结果，每一次试验对应于扔一个硬币.例如 ， AaXAa 

的后代的遗传型配成对时为 AA ， Aa ， aa ， 其对应的概率为|—个 AAXaa 的 
结合只能产生 Aa 型的后代，等等. 

把总体视为全体，我们可以把亲本的配对设想为第二个随机过程的结果.我们 
将仅仅研究所谓的随机交配，它是用下述条件所定 义的： 如果在第一代子孙中随机 
选取 r 个，则它们的亲本是所有可能亲本构成的总体中的一个大 小为" 的随机样本. 
换句话说，每一个后代可以视为随机选取的一对亲本的产物，而且所有这些选取都 
是相互独立的.随机交配是流行于许多自然界的总体及田间试验的一些条件的理想 
模型. 然而，如果红豌豆播种在田地中的某一个角落而白豌豆播种在另外一个角落. 
则同一种颜色的亲本的交配比随机交配要来得经 常些. 优先选择性（如像淡颜色优 
先选择淡颜色）也与随机交配这一 争件相 违背.完全非随机交配可以用自花受精植 
物和人工授粉来 代表. 某些这样的交配系统将要数学地加以分析，但是我们大部分 
是注意随机交配. 

后代的遗传型是四个独立的随机选择的 结果. 两个亲本的遗传型的选择可以有 
3*3 种方式，它们的遗传因子的选择有2 • 2种方式.然而，我们可以把这两个选择 
结合起来，并且把这个过程描述为这样一个双重的选择：父系的遗传因子和母系的 
遗传因子的选取是相互独立地、随机地从一个总体里抽取的，这个总体是由父辈的 
总体中的全部父系所携带的遗传因子和母系所携带的遗传因子的全体所构成 • 

假定三种遗传型 AA ， Aa，aa 在父系和母系中以同样的比例 w : 2 z ; 而发生.我 
们将假设 w +2 w + w = l ， 而且称为遗传型的频率•令 

p — u 十 q = v ~\~ zv . (5. 1) 

显然，遗传因子 A 的个数与 a 的个数之比为> :心户+9=1，我们称分别为遗传 
因子 A 和 a 的频率，由于在每次选取中，遗传因子 A 被选出的概率为户，又因为假 
定了选取是相互独立的，所以某后代是 AA 的概率为遗传型 Aa 可以用两种方式 
发生，所以它的概率为2舛‘因此，在随机交配的条件下，一个后代属于 AA ， Aa 或 
aa 的概率分别为 

= p 2 , 2 v l = 2 pq ， Wi — q 2 . (5. 2) 
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例 （ a ) 所有的亲本都是 Aa (异性结合子），则 w = w = o ,2 i ;=1，；? = 9=-^. ( b ) 
AA 和 aa 型的双亲具有同样的比数，贝！而且/ >= 9 =+. ( c ) 最后， 

， 2 x ；= 音和/>=<?=音.在这三种情形中，儿辈所对应的 a = 士， 2 a = 士， 

— 1 ^ 
wi r 

为了更好地了解 （5.2) 的意义，让我们固定遗传因子的频率 P 和9(/ >+9=1) 来 
考虑全部遗传型的频率 W ，2* U , W 的系统，其中对第一代子孙来 

说，一切都导岀与 （5.2) 相同的概率.在它们之中，有下述的特殊 分布： 

u = p z ， 2 v — 2 pq , vu ~( f . (5, 3) 

考虑如例 （ c ) 的一个总体，其中三种遗传型由 （5.3) 式所给岀.由（5.2)， 
便有： 第一代子孙的遗传型的概率并无改变.因此，我们称形如（5. 3 )的遗传型的 
分布是平稳的或平衡的.对每一个比例来说，都对应这样一个 分布. 

当总体很大时，实际观察到的第二代的三种遗传型的频率与 （5.2) 式所给出的 
理论概率很近似 1 .值得高度注意 的是： 无论其父辈的分布如何，此分布是平 
稳的.换句话说，如果观察到的频率恰巧与计算得到的概率一致，则下一代将具有 
平稳的遗传型分布，而且其后代永远具有这一 分布. 实际上，偏差会观察得到，但 
是在大总体中我们可 以说： 无论父辈这个总体中的结构如何，随机交配所产生的下一 
代将渐近地具有不变的遗传因子频率的平稳遗传型分布. 从第二代起，没有系统的 
变化的倾向，第一代子孙就达到稳定的状态.这首先被哈代 2 ( G . H . Hardy ) 所注意 
到，因此他解决了在孟德尔定律中假定的难点.特别地，由此推出，在随机交配的 
条件下，三种遗传型的频率具有比例/> 2 这反过来又可以用来检验随机交配 

这一假设. 

哈代还指出，必须对“渐近” 一 词加以注意.甚至对平稳分布来说，我们都可 
以期望从一代到下一代会发生小的变化.这就使得我们作如下的 设想. 从任何一个父 
辈的总体开始，用随机交配就建立了下一代中的平稳分布 （5.3). 对于一个平稳分 
布来说，都没有任何种类的系统改变的 倾向. 然而，随机起伏会一代一代地改变遗 
传因子的频率和。因此遗传结构会慢慢地改动.不存在一种力量来专门去恢复原 
始的频率.相反，我们的简化模型导出下述结论（参见 15. 2节例 ( i )) ： 对一个有限 
总体来说， 一 个遗传因子最终将要死掉，因此，这个总体最后将属于 AA 或 aa 中的 


1. 否则，我们的概率模型就没有任何实际意义了.大数定律与中心极限定理给了这个事实以精确的描 

述，它使我们能够估计随机起伏的影响. _ 

2. 参阅 [31]. 如果先引用一下第9章和第15章的术语，我们可以把这一情况描述如下.第《代的三 

个遗传型的频率是三个随机变量，其期望值由 （5.2) 所给出，它不依赖于 n ， 它们的真实值从一 
代到下一代将要发生变化，它构成一个马尔可夫 过程. 
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某一个类型实际上这并不一定会发生，因为变异、选择和其他许多影响会产生新的 
遗传因子. 

哈代的定理经常被解释为永远可以达到严格的稳定性.通常犯的错误是相信大 
数定律的作用像是赋于寻求重返原始状态的记性的一种力量，而很多错误的结论也 
是由此假设而导出的.注意：哈代的定律不能应用到具有两对遗传因子（例如眼睛 
的颜色和习惯用左手）9个遗传型 AABB ， AABb ， …， aabb 的分布 中去. 这仍然有平稳 
分布的倾向，但是在第一代中均势不能达到（参见 5. 8节习题 31). 

< 5. 6伴性性状 

在前一节的导言中曾说及遗传因子在染色体上 • 它们都是成对地岀现，而传递 
却是单个地，因此，在染色体上的全部遗传因子成柱状结合 1 • 所以，我们的遗传因 
子的遗传方案仍然可以应用到作为单位的染色体 上去. 性别决定于两个染色体，阴 
性是 XX ,阳性是 XY . 母亲一定传给一个 X 染色体，而后代的性别决定于父亲传给 
他（她）的那一个染色体.因此产生同等数目的阳性和阴性配子.男孩和女孩出生 
率之差可以用先天的遗传物的偶然偏差来解释 .' 

我们曾经 说过： 遗传因子和染色体都是成对出现的 • 但是，也有例外的情形， 
那就是当遗传因子处于 X 染色体上而 Y 染色体上没有对应的遗传因子的时候.阴性 
有两个 X 染色体，因此有两对这样的 X 型的联结的遗传因子，然而在阳性中， X 遗 
传因子单个出现.两个伴性的遗传因子会引起色盲和出血素质.对于它们之中每一 
个来说，阴性还可以分成三个遗传型 AA ， Aa ， aa ， 但是却只有一个遗传因子，而阳性 
只有两个遗传型 A 和 a . 注意： 儿子经常是具有父亲的 Y 染色体，因此，伴性性状 
不可能由父亲传给儿子.然而它可以通过父亲传给女儿，再由女儿传给孙子. 

现在我们把前一节的分析进行推广.仍然假定随机交配，并且假定在阴性总体 
中遗传型 AA ， Aa ， aa 的频率分别为 w ，2 t ；， m 如前面一■样，我们令户= z u J rv $ q = v ~\~ w . 
阳性的两个遗传型 A 与 a 的频率分别以 〆 和 〆 表示于是 f 和 〆 分别 
为遗传因子 A 在阴性总体与阳性总体中的频率 • 一个阴性后代的遗传型为 AA ， Aa ， 
aa 的概率分别以 Wl ，2%， 表之，阳性的型 A 和型 a 的类似的概 率以 〆 i 和 〆 ！表之 • 
因为一个阳性后代从其母亲那里得到 X 染色体，所以 

p \ — />» q I = q . (6.1) 

对三个阴性的遗传型来说，如第 5 节一样.我们发现 

M ] = pp f — pq f + qp ’ = gq ’. (6. 2) 


因此 


* 此节处理特殊主题，可略去. 

1. 这情形由于染色体的偶然破裂和重新结合而稍复杂些（参见 2. 10节习题 12). 
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P\ =⑷ = y (夕+/>’ ） ， 

q\ 二切 + 叫 = -jiq + q). 


(6. 3) 


这意 味着： 在阳性的后代中，属于母系的遗传因子 A 和 a 分别近似地以频率夕和 
g 而 出现； 而在阴性的后代中，遗传因子的频率近似地为 A 和％，或者说是父系与 
母系中的这些遗传因子的频率一半.我们发现遗传因子的频率有趋于相等的趋势. 
事实上，从 （6.1) 和 （6.3) 我们得到 

p f i — pi = +(/> — 〆 ），心 一 = y(<?— 9 )• (6.4) 


因此，随机交配使下一代的阴性与阳性的遗传因子的频率之差近似地将要减少一半. 
然而，它不能使这个差变为0,使之更加减少的趋势是存在的.与哈代的定律比较， 
在一代以后这里没有平稳的情形.我们可以追究由一代到一代的变化的系统部分而 
忽略随机起伏，并验证理论概率 （6. 2) 和 （6.3) 与第一代子孙的对应的实际频率 
一 致 1 .对第二代来说，用类似的推导我们可以得到 

户 2 = y(A +/ A ) =音/^+士户’， <? 2 = +^ i ) = ( 6 . 5) 


当然， P ' i = P ' h . 第《代阴性子孙中概率 A 和1的一般表达通过几步推导就 
可以得到.令 

a = +(2/? + 〆 ）， ^{2 q + q ). (6.6) 


(注意 a +/3= l .) 于是 


P , 


Prt-l + P rr ~\ 


0：+ (― 1 广 


p — P 


/ 


_ 


'77 


g . 


— 


r 


q tr^l 



(6.7) 


而户 „ P n -1 ， q Qn -1 * 因此 

pn — a，P’ n — a ， (h 一 P，n — 卩. ( 6 . 8 ) 

正如 （6.2) 所给出的一样，在阴性总体中遗传型的频率为 

u n = prj-\ P n-l ^ = prr-\ Q tj-l ^7^1 P rj-\ ^ — Qn-\ Q n~-l * (6_ 9) 


因此 

— a 2 ，2% — 2 a /?，— /3 2 ， （6. 10) 

这些公式说明，当一代一代传下去的时候，有一个很强的系统趋势，使之最后 
趋于这样一个情况：遗传型 A 和 a 在阳性中岀现的频率分别为 a 和/3，而阴性的遗传 


1. 如果用第5节脚注中所引进的术语，我们可以把九与〜解释为第《次阴性子孙中遗传因子的期望 
值.如果这样解释的话，关于 A 和心的公式就不再是渐近式而是精确的等式了. 
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型 AA ， Aa ， aa 分别具有概率 a 2 ,2 a /?，/? 2 .由 （6.7) 看出，其收敛的速度是很快的.实 
际上，三、四代以后就会达到均势.确实，上述的变化的随机起伏是很小的，然而 


后者说明了主导的系统趋势. 


我们的主要结 论是： 在随机交配下，我们可以期望在阳性中的伴性的遗传型 A 
和 a ; 在阴性中的遗传型 AA ， Aa ， aa 分别渐近地以频率以/?，7,2#，/? 2 发生，其中 


a+/?=l. 

应用. 许多伴性遗传因子（如色盲）都是隐性的并且会引起缺陷.令 a 就是这样 
的一个遗传 因子. 于是所有的阳性的 a 和所有的阴性的 aa 都会显示出缺陷. A a 型的 
阴性生物可以把缺陷传给她们的后代，但却不影响她们自己.因此，我们可以期望， 

隐性的伴性缺陷发生在阳性生物中的频率为 心 而发生在阴性生物中的频率为7 •如 
果100个男人中有一个色盲的话，那么在10 000个女人中才会有一个色盲. 

U 选 择 

作为选择的影响的一个典型例子，我们将要研究个体 aa 不可能重迭的情形.当 
遗传因子 a 是隐性的和致死的时候就会出现这种情形，因此，个体 aa 出生了但是不 
能生存.若用人工培育去干涉或阻止个体 aa 之交配时就会出现另外一种情形 • 

假定在个体 AA 与 Aa 之间进行随机交配，但是不与 aa 型进行 交配. 令总体中 
AA ， Aa ， aa 型的遗传型岀现的频率分别为于是其亲本对应的频率为 

u * = z ~——， 2 v * = ’ 2" —， tv * — 0. (7.1) 

我们可以仿照第5节一样去进行推导，不过必须以 （7.1) 中的三个量分别代替《， 
因此， （5.1) 被 


P = 




(7,2) 


所代替 • 第一代子孙中那三个遗传型的概率仍然由 （5.2) 或者说 


所给出 * 

与前面一样，为了研究从一代到一代的系统变化，我们用分别替代 M ， 
从而得到第二代的对应的概率々，奶， w 2 , 等等.一般地，由 （7,2) 我们得到 


P 




(7.3) 


和 


w 卄 1 = pl.Zv^ = = 

比较 （7. 3) 和 （7.4) 得到 


(fn* 


(7.4) 


^此节处理特殊主题，可略去 • 
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和 


Prt^l 


〜1 + ^1 = Pn = 1 

1 — l — ql 1 + % 







Qn 


1 — W rrH 


<h 


(7,6) 


从 （7.6) 我们可以精确地算出 仏来. 事实上 




1 + P 


(7.7) 


由此相继地得到 






1+ ^ 


<h 


2 + 专， 


<?3 


3 + ? …， 


Qn 


+丄 

Q 


(7,8) 


或者 




9 l 


1 十 nq ’ 

我们发现不繁殖的遗传型逐渐被淘汰， 




Q 


2 


1 I" nq 

但是这个过程是很慢的. 


(7.9) 

对 <?=(). 1来说，到 


第10代才使遗传因子 a 的频率减小一半，使 aa 型的频率近似地减为(如果 a 是 


伴性的，则如同5_ 8节习题29所证明的，其被消除的速度是很快的，而对一般的选 
择方案来说，请参见 5. 8节习题 30. Y 


5. 8 习 题 

1. 掷3个骰子，若已知没有两面相同，求至少有一个么点的概率. 

2. 掷10个骰子.已知其中至少有一个么点出现，求有两个以上的么点出现的概率 A 

3. 桥牌.在桥牌游戏中，西家没有爱司.问他的合作者（东家 ） U ) 没有爱司， （ b ) 有两个 
或两个以上的爰司的概率是多少？用直接的推理验证所得的结果. 

4. 桥牌.设南、北两家共有10张将牌（将牌是一种指定花色的牌 )•（ a ) 试求另外3张将牌 

集中在同一家（东家或西家）的概率_ ( b ) 若已知其余 3 张将牌中有一张老开，试求他 

是“无保护”（意即他只有一张老开，而其余两张将牌在他的合作者手中）的概率_ 

5. 用 5.2 节例 （ b ) 中的条件概率的概念讨论 2.7 节例 （ b ) 中的钥匙问题_ 

6. 厂里有三台机器 A ， B ， C 生产螺丝钉，它们的产量分别占总产量的25%，35%，40%，而产 
品的次品率分别为5%，4%，2%.今从产品中任意取出一颗螺丝钉，而发现它是次品•求 
这颗螺丝钉是由机器 A 或 B 或 C 造出的概率 • 

7. 设 100 个男人中有 5 个色盲者，而 10 000 个女人中有 25 个色盲者.今从人群中任选一 
人，并发现他是色盲.求此人是男性的概率（假设人群中男女的人数是相同的 )■ 


1 _ 对于各种遗传因子的影响的分析，请参见 [32]. 
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8. 7个球随机地放入7个盒，各种排列的概率在第 2. 5节的表 2-1 中都已列出.应用此表验 
证： 给定两个盒是空的条件下，有一个盒放了 3个球的概率为1/4,精确到5位小数.证 
明1/4就是正确的答案. 

9. 掷一颗骰子，一直到现么点为止.假定第一次没掷出么点，问需要掷的次数多于3才停 
止的概率为何？ 

10. (续上题)，假定所掷之次数〃为偶数，问《二2的概率是多少？ 

II 1 ,设一个家庭恰有 n 个小孩的概率 h 为 a ^， n > l，/>o = l _ c^(l + />+/> 2 +〜）， 并设 w 个小 
孩的所有可能的性别分布是等概的，证明当々>1时，一个家庭恰有々个男孩的概率是 
2ap k / VI — p 、气 

12. (续上题).已知家庭中至少有一个男孩，求此家庭至少有两个男孩的概率. 

13. 骰子 A 具有四面红两面白，骰子 B 具有两面红四面白.扔一个硬币，如果出现正面，则 
继续掷骰子 A ; 如果出现反面，则掷骰子 B , ( a ) 证明在任何一次拋掷中，出现红的概率 
是 1/2. ( b ) 如果前两次结果是红的，问第三次掷出红的概率是多少？ （ c ) 如果前面”次 
出现红的，问能掷骰子 A 的概率是多少？ （ d ) 罐子模型是否和这个游戏等价？ 

14. 在 5.2 节例 （ a ) 中， 令〜 为整个比赛的获胜者在第〃次试验获胜的条件概率，假定比赛 
并没有 在”轮 结束：：^和 A 分别为输家和等待者在第《次试验获胜的概率 •（ a ) 证明 

1丄1 1 - 1 

a = ] ■ 十 -^ 細 ， yn = y 之卄 1 ，^ = ^ ) 

( b ) 用直接的简单推理证明，实质上不依赖于《, ( c ) 证明 a 胜这一局 
的概率为5/14 (用 1. 8节习题5的推理乂 （ d ) 证明： tv = +， >=+，+是 （*) 的 

惟一 '的有 界解. 

15. 设事件 Ai , A 2 ，…， A „ 独立，且 P { A }= 扒，试求没有一个 A * U =1，2, …， w ) 发生的概 
率 P ‘ 

16. (续上 题）. 证明 

17. (续上题).由彭弗雷尼不等式（第4章 （5.7)) 推出： 在事件 A ，…， A rt 中有々个以上同 
时发生的概率小于（勿+… + 

18. 波利亚罐子模型，5.2节例（(：).若已知第二次所取出的球是黑的，求第一次所取出的球 
也是黑的概率. 

19. 波利亚罐子模型，5.2节例（(：)_用数学归纳法证明：无论是哪一次试验，黑球出现的概 
率总是 6/(6+ r ). 

20. (续上题).用归纳法证明，对任何 m <«， 第 m 次与第72次所取出的球是黑，黑或黑，红 
的概率分别为 

b (b~\~c) _ br _ 

、 ib+r) (b+r+c) ^ (b~\~r) (6+r+r)' 

并把此结果推广到多于两次取球的情形. 

21. 波利亚模型的时间对称性 * 设 A，B 表示红球或是黑球（即 A，B 有四种可能的组合 方法: 


1. 根据 A , J . Lotka ， 当/ >=0.7358 时，美国家庭的统计是满足我们的假 设的， 参见 [33]. 



红红，红黑，黑红，黑黑).证明：已知第72次出现 A 后第 m 次出现 B 的概率，等于已知 
第 n 次出现 B 后第 m 次出现 A 的概率. * 

22. 在波利亚模型中，设 A («) 是前《次取球中出现々个黑球的概率，证明下面的递推关系式 


L / t ，、一 1 / —— 是 ）C I ^ / l)c 

p k {n+l)^p k {n) b + r+nc +P^-i(n) 


其中解释为零.应用这关系式，即可得到 （2.3) 的一个新证明方法- 

23. 波利亚分布.在 （2.4) 中令 


b 

b + r 


b + r 


( 8 . 1 ) 


证明 1 


—p/r\ f-q/r 


pn { (n) 


/- i/y 

V n 


n\ + n 2 


( 8 . 2 ) 


对任何常数（不一定是有理数）/ >>0， g >0， y >0 都有意义（其中 f + g = l ), 验证 


pn x in ) >0和 

n 

pv(n) = 1 ， 

v =0 

因此方程 （8,2) 确定了整数0,1，…， 《 上的一个概率分布，即波利亚分布. 

24. 波利亚分布的极限形式.如果 oo，P —0， y — 0使得 wp —— 厂 1 ，则对任意固 
定的 m ， 有 

(：>. (一 ( A :—”卽士/ 1 . 

验证这一关系并证明对于固定的 A 和^0来说，右边项加起来为 1. (右边是所谓负二项 
分布，参见 6. 8节和 6. 10节习题3 7 .) 

25. 用条件概率来解释第2章 （11. S ). 

26. 两两独立但全体不独立的 事件. 掷两颗骰子并定义如下三 事件： A 表示第一颗骰子掷出 
奇数点， B 表示第二颗骰子掷出奇数点，而(：表示两颗骰子的点数之和为奇数（即一颗 
掷出偶数，另一颗掷出奇数）假定36个样本点中每个的概率都是1/36,则任何两事件皆 

相互独立，且每个概率都是但此三事件不能同时发生 ■ 

在生物学中的应用 

27. 把第5节中的结果推广到下述情 形去： 每一个遗传因子具有 A lf A 2 ，…， A * 中的任一形式， 
因此有 ^(^+1)/2 种遗传型而不是三种遗传型（复等位基因 •） 

28. 兄妹交配_ 从一个总体中随机地选取两个亲本， 假 设这个总体中遗传型 AA ， Aa ， aa 出现 
的频率分别为这个过程一直在他们的后代中重复地进行 • 求出第一代第二代第 

1. 原书中把 U ) 误写为—译者注 

2. 原书有错，它把 U ) 误写成了 Av ,， 且£掉了一个因子一一译者注 
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三代子孙的亲本都是属于 AA 的概率[参见 15. 2节例 （ j ) 及 16. 4节例 （ b )] 

29. 选择.令 a 为一个隐性的伴性遗传因子，假定在一个选择过程中与阳性的 a 交配是不可能 
的.如果在阴性中遗传型 AA ， Aa ， aa 出现的频率分别 试证： 对第一代阴性子孙 

来说， Ui = u ~^ v ,2 vi = =0,因此 /?i 这就是说，在阴性中， 

遗传因子 a 减少了一半. 

30. 第7节中的选择问题可以推广到这样一种情 况：假 定只有 aa 类的分数 A (0< A <1) 可以 
除去.证明 

_ U^v _!；+ (1 — A) XV 

’ 1—Aw ， ^ l~?av • 


更一般地， （7.3) 被 


Pn +\ 


Pn 

l~Xql ' 


<? n+l 


l~Agn 

l —\ ql q 


所代替.（这些方程的一般解似乎是不知道的 •） 

31. 同时考虑两对分别具有可能形式(人，3)，（；6，1 5 )的遗传因子_每一个人传给后人以这两点中 
各一个，并假定这四个可能中的每一种都具有概率 I / 4 ,(当遗传因子在分离的染色体上 
的时候就是这种情形，否则它们之间有很强的依赖性 .） 有9种遗传型，我们假定它们在 

父辈总体中的频率分别为 Uaabb ， UaaHB ， L^AAbb ， L^aebb ^ 2UAaBB ， 2UAabb ， 2 UAAHh t 2L/ aa Bb ， 4L/AaBb ■令 

/?AB ^UaABB +C/AABb +L r AaBB + ^AaBb t pAb AAbb f L^Aabb + l^AABb + L^AaBb » + t/aaBb + 

, p ab = a aabb + 1 ;^ + u aaB b + u AaBb . 计算第一代子孙的对应 的量. 对它来说我们 
证明 =pAB— 二户 Ab+A/>^ 二 /^+ApW =Ab— 汐其中2茂 =AuiAb — />Ab/>aB •平 
稳分布为 pAB — 2<J = /?Ab +25，等等.（注意：哈代的定律不能应用’由 一 ■代到下 一 代其结 
构会发生变化 .） 

32. 假定在某总体中遗传型的频率为 《=/> 2 ,2 i =2/^， w = g 2 _ 给定一个具有 Aa 型遗传型的人， 
他兄弟也具有同样的遗传型的概率为 （1 + M )/ 2 , 

注意 1 下面这些问题都是建立在家族关系上的，并且也给出了亲属关系等级概念的一种 
直观意义.每一个问题都是前一个问题的继续.仍旧假定随机交配，并沿用第5节的符 
号.我们这里考虑的是一类特殊的马氏链（参见第15章）_矩阵代数可以简化书写. 

33. 分别以数字1，2,3来代替遗传型 AA，Aa，aa， 并令办（纟，々=1， 2 , 3) 为已知其父亲（或母 
亲）的遗传型为〗的条件下其后代的遗传型为&的条件概率 • 计算这9个概率，假定 
其他的父辈的遗传型为1，2, 3 的概率分别为 P z ,2 pq , q 2 . 

34. 证明在已知其一特定的子女的遗传型为〖的条件下，父亲的遗传型为々的条件概率也 

是如_ 

35* 证明在已知其孙子（祖父）的遗传为；的条件下，其祖父（孙子）的遗传型为 々的 条件概 
率为 

1. 第一版在此处有一错误，那里用 “ 兄弟”（同父同母）一词代替了此处的“异父或异母兄弟”.李 
(C C Li ) 和路易斯 * 沙克斯 （Louis Sacks ) 指出了这一错误，并给出了正确的公式.用随机矩阵 
导出了联合分布及亲属之间的关系_参见 Biometrika , 40 (1954),347—360. 




p\r = pn p\k pa pik pi3 p^k . 

[矩阵 （淖 o 是矩阵 ( p tk ) 的平方] 

36. 证明在已知某人的异父（或异母）弟兄属于遗传型 i 的条件下，此人属于遗传型&的条件 
概率也是/ * 

37. 证明在已知某人的祖父（或孙子）属于遗传型 f 的条件下，此人属于遗传型々的条件概 
率为 

pip = p\V pik + A -2 2) p2k + p\P p3k = pil p\V + pa Pu + Pi3 pif . 

[矩阵是矩阵（如）的三次方.这种手续给出了亲属关系的等极概念以一种明显 
的意义 .] 

38. 更一般地，我们定义/^>为：在已知某人属于遗传型；的条件下，其某一个 第”代 子孙属 
于遗传型&的条件概率.试用归纳法 证明： 是下面这一个矩阵的元素 

> 2 + Pq/2^ 1 2pq + q(q-p)/2^ 1 <f ~ q 2 /2^ 1 、 

p 2 piq — p)/2 n 2pq + (1 — ipq)/2 n (f +q(p — q)/2 n 
,p 2 ~p z /2^ 2pq + p{p-q)/Z^ 1 f 十 Pq/2 7 ^ 1 , 

(这 表明： 一 代一代传下去以后，祖先对子孙的影响逐渐下降，其比例因子为 1/2.) 

39. 再考虑习题36,不过要把“异父（或异母）兄弟”代之以“亲兄弟” _ 证明； 这时对应的 

矩阵为 

+ (l + />) 2 -y^l + p) 

士 户 (1 十 />) j(l 十 pq) ~qi\ + q) 

女 p 2 1 + g) Cl + q) 2 

40. 证明叔侄之间的亲戚关系的等级与祖父和孙子之间的亲戚关系的等级是一样的_ 




6. 1 伯努利试验序列 1 

在重复的独立试验中，如果每次试验仅有两个可能结果，而且其相应的概率在 
每次试验中都是相同的，则称这一串重复的独立试验是伯努利试验序列. 我们经常 
以表示两个相应的概率，并将具有概率/>的可能结果称为“成功”，记以 s ， 而 
另一个可能结果则称为“失败 ”， 记以 F . 显然，/>与 9 应该是非负的，并有 

P + q = 1. (1.1) 

每次试验所对应的样本空间是由两个样本点 S 与 F 组成的，而《次伯努利试验的 
样本空间则含有2” 个样本点，它就是由《个符号 S 与 F 所组成的排列.每个排列表 
示联合试验中的一个可能结果.因为试验是独立的，所以它们的概率是等于各个概 
率的乘积.换言之， 每一给定排列的概率可由下面的方法得出，在排列中用 p ， q 分 
别代替 S , F 后，所得的一个乘积便是所要的概率，因此 

P { ( SSFSF … FFS ) } = ppqpq … ( Rp . 

例伯努利试验序列的一个最为熟悉的例子是连续扔一个均匀的硬币，此时户 = 
g = l /2. 如果硬币是不均匀的，且我们假设连续扔硬币的试验是独立的，则我们也 
得到了伯努利试验序列的模型，不过此时成功的概率 P 可以是0与1之间的任何数 
值 2 .每次都从一个包含有 r 个红球6个黑球的罐子中重复地随机取球，这种取球代 
表一串具有 p = r /( r +6) 的伯努利试验.有时，一个试验会有好几个可能的结果，但 
我们并不注意各个结果的区别，而是把这些结果简单地区分为两组 A 或非 A . 例如， 
掷一个均匀的骰子，则幺点出现 （ S ) 与非么点出现 （ F ) 的区别便导致一个伯努利 

试验，此时偶数点出现与奇数点出现的区别也导致•个成功概率的伯 

努利试验.若骰子是不均勻的，则重复掷骰子也组成一串伯努利试验，但是成功的 
概率可有各种不同的数值.扑克中的最大同花或掷两颗骰子都出现么点都可以用 
成功来表示，而所有其他的可能结果的出现用失败表示，则我们有成功概率分别为 

与的伯努利试验.在统计应用中常常把问题化为这种类型来处理. 

例如，在大量制造垫螺钉的小铁片时，铁片的厚度可有各种不同的数值，但是，在 


1. James Bernoulli (1654 —1705)，他的主要著作 u Ars conjectandi ^ 于 1713年出版. 

2. 这里原书说任意数值，应该说是0与1之间的任意数值.——译者注 
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产品检査中，我们往往把铁片的厚度分为两类，即如果厚度在预先规定的范围内， 
则称为合格 （ S )， 反之则称为不合格 （ F ). _ 

伯努利试验序列是一个理论的模型，并且，用它来描述某一指定的实际试验是 
否合适仅能由经验来判断.关于连续扔一个硬币是伯努利模型的知识是由实验的证 
据推导出来的.普通老百姓和哲学家马伯 HK . Marbe ) 都相信在连续岀现17次的 
“正面”后，“反面”的出现的可能要大.这个主张并不牵涉到硬币完善不完善的问 
题，而是把记忆力赋予了自然界，也就是（用我们的语言来说）否认了逐次试验的 
独立性.马伯的理论不能用逻辑来驳倒，但是，由于它缺乏经验的支持，我们还是 
拒绝接受它. 

在抽样实践，工业的质量控制等等中，伯努利试验序列的模型提供了一个理想 
的标准，虽然这标准从来不能完全达到.在上面所讲的垫螺钉的铁片制造的例子中， 
有许多理由说明为什么产品不能形成伯努利模型.例如，由于机器的必然引起的变 
化使得概率不能保持为常数.机器的运转有惯性的倾向，因此，同类偏差的长连贯 
的出现，要比各次动作均为独立的情况下更为概然.但是，从质量控制的观点来看， 
我们愿意生产过程符合一个伯努利模型，一个重要的发现是，在一定范围之内，生 
产过程是可以达到这个要求的.这样一来，连续控制的目的，就是要及早地发现与 
理想模型显著的偏离，并利用它作为就要发生毛病的警报. 

6. 2 二项分布 

在《次伯努利试验中，我们往往只关心成功的总次数而不计较成功的排列次序. 
由于成功的总次数可能是0，1，…巧，因此，我们的第一个问题是求出它们相应的概 
率.但在“ 〃次试 验里有&次成功， 〃一 々次失败”的出现可以有许多的方式，其方式 
的个数就等于6个文字3在《个位置上的所有可能分配法，换言之，这一事件共含有 

个样本点.并且，由定义，每点的概率都是于是，我们证明了下面的 
定理. 

定理令6(幻《，/>)是具有成功概率为 p ， 失败概率为 q = l - p 的 n 次伯努利试验 
中，有々次成功 ， H — 6次失败的概率，则 

b(k\n^p) — {^\p k q n ~ k . ( 2 . 1 ) 

特别，未成功的概率是矿，而至少有一次成功的概率是 1— 矿. ► 

我们考虑 P 为常数，而且令 S „ 为《次试验的成功次数，则 6( 幻”， p )= P { S „ = 
k ). 用一般的术语来说， & 是随机变量，函数 （11) 是这个随机变量的“分布”， 


1. 参见 [34], 关于马伯的理论，有许多批评的文章. 
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我们将称这个分布为二项分布.因为 （2.1) 是（/>+ 9 广的二项展开式中的第6 + 1 
项、所以我们有“二项”两字的 名称. 这个解释还指出来 K 0 ; rz ， p )+6( l ; n ， p ) + …+ 
b { mn , p )^{ p+qr = \. 这也正是概率的概念所需要的.二项分布有表可查. 

例 （ a ) 威尔顿 （ Weldon ) 掷骰子记录表. 设所进行的试验是掷12个骰子，并 

设出现点数5与6是“成功”.如果骰子是完善的，则成功的概率力=于是，成 

功次数的概率将由二项分布来表达•表 6-1 给出了这些概率以及在 

26,306次的实际试验中所得到的相应的观察的平均 频率. 这两者的相合性看起来似 
乎是不 错的. 但是，对于如此大量的数据来说，符合程度其实是很不够的.统计学 
家常常用卡方准则来判断拟合的 程度. 根据这个准则，对于均匀的骰子而言，像威 
尔顿观察到的那样大的偏差只有万分之一的发生概率.因此，我们有理由认为骰子 
是有偏的，当成功的概率改为/ >=0.3377 时，最符合于我们的观察结果 [35] . 

( b ) 在 4. 4节当我们考虑牌的猜测问题时，曾经遇到过二项分布，那里的表 4- 3 
中^ 诸列列出了《 = 3,4,5,6，1◦和夕 =w _1 时分布中的各项.在 2. 4节例 （ c ) 的占位 
问题中，我们找出了公式 （4.5). 它是二项分布的另一个特殊 情形. 



表 6，1 

威尔顿掷骰子记录表 


k 

b (是 ； 12，1/3) 

观察的频率 

b (是； 12,0.3377) 

0 

0_ 007 707 


0. 007 033 

0- 007 123 

1 

0. 046 244 


0, 043 678 

0. 043 584 

2 

0. 127 171 


0_ 124 116 

0. 122 225 

3 

0. 211 952 


0. 208 127 

0. 207 736 

4 

0. 238 446 


0. 232 418 

0. 238 324 

5 

0. 190 757 


0. 197 445 

0. 194 429 

6 

0. 111 275 


0. 116 589 

0. 115 660 

7 

0. 047 689 


0.050 597 

0_ 050 549 

8 

0. 014 903 


0.015 320 

0, 016 109 

9 

0- 003 312 


0* 003 991 

0. 003 650 

10 

0. 000 497 


0. 000 532 

0,⑻0 558 

11 

0. 000 045 


0- 000 152 

0. 000 052 

12 

0. 000 002 


0. 000 000 

0. 000 002 


( c ) 如果成功的概率是0.01，问需要有多少次试验才能使得至少出现一次成功的 

概率是1/2或更大？此时，我们是求最小 的〃， 使得1 一 （0. 或是一《 

log (0* 99 )^log 2,因此 n ^70. 

( d ) 能量供应问题 • 假定有”=10个工人间歇性的使用电力，我们感兴趣的是估 


1. 原书为第 A 项，是错的，应为第&+1项. 


译者注 


计所需要的总负荷.作为一种粗糙的近似，我们设想在任何一个给定时刻每一个工 
人以同样的概率 f 需要一个单位电力.如果他们是独立地进行工作，则恰有6个工 
人同时需要电能的概率是如果一个工人在一小时内平均有12分钟需要电 

能，则我们令/? = +.于最在同时有七个或者七个以上的工人需要电能的概率为 

b (7;10,0. 2) +…+6 (10;10,0. 2) 二 0.000 864 358 4.换句话说，如果最多只能供应 
6个单位电力，则超过负荷的概率为 0.000 86…，即是1157分钟内约有一分钟，亦 
即约20个工作时中可能有一分钟超过负荷.八个或八个以上的工人同时需要电能的 
概率仅仅为0.⑻0 077 926 4，即比上述概率的1/11还要小. 

( e ) 血清或防疫检验 [36] .假定 某种疾病在牲畜中传染的一般比例是百分之二十 
五.为了检验一种新发现的血清，我们给 n 个健康的牲畜都注射这种血清.我们如 
何用数字来表示这一试验的结果呢？如果这种血清完全不起作用，则这《个被注射 
的牲畜中恰有6个不感染这种疾病的概率为^ a ;«，0.75). 当 々 = / z =10 时，这个概 
率大约为0.056,而当 6 = 时，这个概率只有 0.032. 因此，如果10个或者12 
个牲畜中没有一个感染这种疾病，那么我们就可以用它指明这种血清是有效的，虽 
然这还不能作为最后的论断. 注意： 如果不注射血清，17个牲畜中至多只有一个感 
染这种疾病的概率大约为 0. 0501. 因此，17个被注射的牲畜中只有一个感染病比10 
个被注射的牲畜中没有一个感染 病更能 说明这种血清有效.当 ”=23时，至多有两 
个牲畜感染疾病的概率大约为0.0492,因此，23个牲畜中只有两个感染疾病又比17 
个中只有一个感染疾病，10个中没有一个感染病更能说明血清之有效性. 

( f ) 另一种统计检验. 假定〃 个人服用某种药后量他们的血压，不服用时也量他 
们的血压.因此，得到两组测量结果 A ，…， A 和/1，如果 aO ';， 则我们 
说第 U 欠试验的结果是成功，如果则说第 f 次试验的结果是失败.（为了简 
单起见，我们假定没有两个测量的结果相等 .） 如果这种药没有效果，则我们的观 

察对应着具有概率 j 的 n 次伯努利试验，成功的次数很多，就可以作为这种药 

是有效的一个证据. ► 

6.3 中心项及尾项 

从 （2. 1) 我们看到 

b ( k ' n ， p 、 _ (n — k 1 )p = 1 + ( n + l)p — k (3 1) 

bik —— l ； n ^ p ) kq kq 

因此，当 ( n +1) 户时， bik ； n , p ) 比 6( 是一 l ; n ，/>) 大； 当々〉 （ n +1) 时， 

b ( k -， n ， p ) 比1;〜/?)小.如果 U + l)p = m 是整数，则 b ( m ； n 9 p )= b ( m — l - f n 9 p ). 

恰巧存在一个整数 w 满足 


(72+1) / — 1 < im ^ ( n ~\~ l ) p ^ 


(3.2) 
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因此我们有 

定理当 々由 0变到 w 时，最初单调增加，而后单调下降，而且在 
々= m 处达到它的最大值，但当 w =(”+ l )/7 时， b ( m — 1 •， n ， p ) = b (. m •， n ， p )• 

我们称 6( m ; n ，：/>) 为中心项. m 通常称为“成功的最大概然次数”，但是，必须 
了解，当《很大时，所有的6(幻《，^)都很小.把一个均匀的硬币扔100次，正面出 
现的最大概然次数是50,但是正面出现50次的概率比 0.08 还小.在下一章里，我 

们将要证明，/>)近似地等于（ 2 狀舛 ri 

我们对恰巧成功 r 次的概率不大感兴趣，而感兴趣的是下面的至少成功『次的 

概率： 

P { S n ^ r ] = v ； n ^ p ) 9 (3.3) 

(此级数形式上有无穷多项，其实当^>〃一「时对应之诸项皆为 a ) 我们将推出此概 
率之上界，这很有用，尽管下一章会找出它的有效的估计 • 假定•由 （3.1) 

易见： 级数 （3.3) 下降得比具有公比 l — ( r — n ^)/ 叫的几何级数还要快，因此 

* 

P { S n ^ r ) b ( r ； fup ) ― . (3.4) 

1 — np 

另一 方面， 存在多于 r 一个整数々使二项分布对应的项相加其和小于1， 
而且没有一项小于6 ( r ; «， /?). 由此推出此数至多为 ( r ~ npy \ 从而 

P { S „> r }< ( r : q y 当厂> 矽. (3.5) 

类似的推导可以应用到计算左半部，但是这没有必要.事实上，说“至多成功 r 次” 
与“至少失败 《 — r 次”是等价的，应用 （3.5) 的等价形式于“失败”，得到 

当 r < np . 

下一章将要说明这些不等式在估计与“成功的最大概然次数” m 的大偏差的概 
率中的应用. 

6. 4大数定律 

我们曾经几次地提到过概率的直观概念是基于以下的假定上的.如果在 n 次相 
同的试验中， A 发生^次，而且令 w 很大，则将接近于 A 的概率 p . 显然’ 一 种 
形式上的数学理论从来不可能与现实的生活直接联系起来，但是它至少应该对我们 
所要解释的现象提供理论的描象 * 因此，我们要求把刚才说的那句不够清楚的话加 
以精确化，而叙述为定理的形式.为此，我们理解“相同的试验”为成功概率是户 
的“伯努利试 验”. 如果5„是《次试验中成功的次数，则 S „/ n 是成功的平均次数而 
且接近于 A 现在，我们可以很容易给它一个精确的意义.例如，考虑超过 
p + € (其中 e >0 是一个任意小但是固定的常数）的概率.这个概率就是 



6. 5 泊松逼近 117 


(户 + e }， 由 （3.5) 知它小于等于 l /( ne 1 2 ) ，因此\当 / z 增加时， 

P { S „ n ( p -^ e )} ^ 0. 

用同样的方法可得 P { S n <« (/>-€)} — 0, 因此，我们有 

p < e ) 1. (4. 1) 

用文字表示，当77增加时，成功的平均数与 p 的偏差超过预先指定的 e 的概率趋 
于 0. 这是大数定律的一种形式，并且它是把概率作为相对频率的一个度量的直观概 
念的基础.对于实际应用必需以 （4.1) 左边的概率的更精确估计来充实。这样一个 
估计将在二项分布的正态逼近中给出[参见 7 _ 4 节例 （ h )]. 实际上公式 （4.1) 是 
7.7 节习题12的一个简单的 推论. 

结论 （4.1) 是古典的大数定律.它的用处是非常有限的，我们将要用更精确更 
有用的 强大数定律来 代替它（参见 8. 4节). 

注意.人们常常把许多不能从大数定律推出的事件也诉诸予大数定律 • 如果甲 
和乙扔一个硬币10 000次，常常这样 希望： 甲领先的次数大约为一半.但是，这是 
不对的.在多次的扔硬币的游戏中，有理由 期望： 在任一固定的时刻，正面领先的 
场合粗略地有一半.但是，这与上一个例子十分相像，期望贏家在整个游戏过程中 
实际上都 领先. 事实与我们普遍的想法相反，单个游戏的时刻平均与给定任一个时 
刻的整体平均完全不一样 • 关于随机起伏的其他意想不到的性质的更进一步的研究， 
读者可参阅第3章，特别是关于反正弦律的 讨论. 

6. 5泊松逼近 2 



在很多应用问题中.我们常常遇到这样的伯努利试验，其中，相对地说，”大， 


户小，而乘积 


X = np 


(5. 1) 


是大小适 中的. 在这种情形下，我们采用^ ( k ； n f p ) 的一个近似公式是很方便的， 
这近似式是由泊松得 岀的. 下面，我们将推导这 公式. 对于々= 0我 们有： 


b (0； n ^ p ) = (1 — p) n 



(5-2) 


取对数并且利用泰勒 （ Taylor ) 展开式[第2章公式 (8. 10)], 我们有 


log b (0； n ^ p ) = n 


log(l — 


^ — — A — 


2 n 



(5.3) 


因此，对于充分大的〃，有 

b (0; n ^ p ) ^ e " A » 


(5.4) 


1. 原文在此处误说大于 l /(« e 2 )， 应为小于等于 V (〃 〆 ）•——译者注 

2. Simeon D . Poisson (1781—1840), 参见他著的书 [37] 
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其中符号〜表示渐近相等（在现在这种情形下，它们相差阶为的无穷小量).此 
外，从 （3.1) 得知： 对任一个固定的々和充分大的〃都有 



b(k — 1; p ) kq 



(5-5) 


从 （5, 5) 我们相继地得出 b ( l ； n , p)^X • b (0； n , p)^Xe ^ b (2 in , p)^-^X • bCi ; n ， p ) 


^ A 1 2 e ^/2. 一 般地，由归纳法我们得到 

b ( kin ^ p ) ^ ™7 e "~ A . (5* 6) 

k ! 

这就是著名的二项分布的泊松逼近 1 .由于其重要性，我们把 （5.6) 的右端引进一个 
记号，令 

p ( kiX ) ^ . (5.7) 


采用这个符号，我们可以说：当”充分大时，是的近似表 达式. 

例 （ a )4.4 节表 4-3 中列出了 （5.7) 式中当 A = 1 时的泊松概率，并将它与具 
有 p = l / W ， 《分别为3,4,5,6，10的二项分布做了比较 • 即使 n 很小，它们的相合性 

也惊人地好. 

( b ) — 个经验 解释. 100对随机数字中，对（7,7)出现的次数服从”=100, 
户 =0.01 的二项分布.表 6-2 列 岀了： 在100组每组含有100对随机数的集合中，恰 
含々个 （7,7) 的组数 2 .比率 JVJ 1 ⑻与理论的二项分布和相应的泊松逼近作比较， 
观察到的频率与理论概率相当 符合. （如用 X 2 -准则来判断， 100 个类似的个例中有 
75例会因为随机起伏而产生观察频率与理论概率的更大的偏差 .） 



表 6-2 泊松近似的一个例子 


b ( k ； 100, 0,01) 


0. 366 032 
0, 369 730 
0, 184 865 
0, 060 999 
0. 014 942 



0. 367 879 
0. 367 879 
0, 183 940 
0*061 313 
0.015 328 



41 

34 

16 

8 

0 





0. 002 898 
0, 000 463 
0. 000 063 



0_ 000 007 
0. 000 001 


0. 003 066 
0. 000 511 
0. 000 073 
0. 000 009 
0 . 000 001 


0 

0 

0 

0 


头三列表明了二项分布的泊松近似 • 最后一列是每组为100对随机数字的100组中（ 7 , 7 )恰巧出现是 
次的组数的记录. 


1. 关于其逼近的阶，请参见 6. 10节习题33和 34. 

2. 参见 [38]. 
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( c ) 生日.在500人所组成的人群中，恰有 々个人 的生日是元旦的概率仏是多 

少？如果500人是任意选取的，则我们可应用成功概率为 p = ^ 的500个伯努利试 

验的模型.对于泊松近似式，我们设 A = 500/ 3 65 = 1.3699 …. 

正确的概率及其泊松逼近 如下： 

^ 0 1 2 3 4 5 6 

二项 0. 2537 0. 3484 0. 2388 0. 1089 0. 0372 0. 0101 0. 0023 

泊松 0. 2541 0.3481 0. 2385 0.1089 0. 0373 0. 0102 0.0023 

( d ) 次品.设螺丝钉的生产是在统计的质量控制下进行，于是容许我们应用伯努 
利试验的模型.若一个螺丝钉是次品的概率为/>=0.015,则装有100个螺丝钉的盒 
中没有次品的概率是 （ 0_ 985 ) 1() ° = 0.22061. 其对应的泊松近似值是厂 15 = 
0.223 13….在大多数的实际问题中，这样的近似程度已是相当好的.现在，我 们问: 
一 盒中应有多少个螺丝钉才能使得其中含有 I 00 个合格钉的概率大于或等于0, 8?设 
lOO + j ： 是所需要的螺丝钉数，则必是一个小的整数，应用泊松近似式于《=100 + 
: r ， 我们应 4 A = rzp ， 由于近似于 100 p = l . 5,故我们所求的 x 是满足下面不等式 
的最小整数工： 


1 + ¥ H - h 

查表 1 知，当 ： c = l 时， （5.8) 的左边是近似于0.56,而 x =2 时，则为0_80 9 .因此， 
从泊松近似式可得出如下的结论，即所需要的螺丝钉是102个.实际上，在一盒102 

个螺丝钉中，含有100个合格钉的概率是 0. 8022-. 

( e ) 百岁 的人. 某 一指定的初生者活到100岁的概率是很小的， 而 同时，在一 
个大的团体中，一年的出生数却是 大的. 由于战争，传染病等等，不同人的寿命不 
是随机独立的.不过，作为初次近似，我们可将”个出生者比喻为 〃个伯 努利试 
验，其中活到100岁以后才死的就算“成 功”. 在一个稳定的团体，也即团体的大 
小与死亡率认为是不大改变的，我们有理由期望，恰有々个百岁老人死掉的那些年 
头的频率近似于/>(6;；0，其中 A 依赖于团体的大小及健康情况.瑞士的记录证实了 

这结论 [4 ° ] . 

( f ) 印错字，葡萄千，等等. 设在一本书的印刷中，如果任何一个字印错的概率 
是固定的，又如果印刷的条件保持不变，则我们有与字的个数一样多的伯努利试验， 
并且恰有1个错字的页数的频率将近似地等于 AQM ) ，其中 A 依赖于印刷者的技术 
水平.印刷者的偶然疲倦或困难的章节等等都将增加印错的机会，并且还可能产生 
成群的错字.因此，泊松公式可用来发现对于均匀性或统计控制的过分偏离 • 类似 
的推理可用于许多其他的情形.例如，若将许多葡萄干混合到一堆生面团中，则我 



(1.5)" 

00 ! 


> 0 . 


(5,8) 


1.参见 [39]* (这是给出数值 〆 hA ) 与 〆 hA )+/^々+ l ; A ) + …的一些表格，其中*从0变到 100 _) 
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们可期望恰有々粒葡萄干的面包的个数的频率近似地等于 p (々; a )， 而 a 是生面团中 
葡萄干的密度. ► 

6. 6泊松分布 

在前一节中，我们仅仅用泊松表达式 （5.7) 作为 〃大/ >小的二项分布的一个合 
适的近似式.关于第4章的相合问题与占位问题，我们曾经研究过各种不同的概率 
分布，而这些分布的极限形式也是泊松表达式/ >(々; A ). 这正是下述的值得注意的事 
实的特殊 情形： 有几个具有高度普遍性的分布在极其多种多样的问题中出现.在概 
率论中常遇到的三个主要分布是二项分布、正态分布（于下一章介绍）与泊松分布 

pik ' yX ) = e~ x (6. 1) 

后者我们将加以讨论. 

首先 注意： 如果将 （6.1) 的右边对々=0，1，2,…求和，则得到 e - A 与¥的泰勒级 
数的乘积.因此，对任何固定的 A ， 所有的 〆 々 ; A ) 的和是 1. 于是，我们可以设想一 
个理想的试验，使得恰有6个成功的概率是 P ( hA ). 我们将说明：为什么许多物理 
试验与统计观察都导致泊松分布 （6.1). 下一节的例子阐明了 （6.1) 的广泛的、种种 
重要的应用.只能在随机过程的理论中才明显地看出泊松分布的实质（第 12. 2节和 

第 17. 2节将给出泊松分布的一个新的描述). 

考虑一个随时间而发生的随机事件序列，例如放射性分裂，来到电话总机的呼 
唤等等.每个事件都可由时间轴上的一点来代表，而我们所关心的是这些点的随机 
分布.这分布有各种不同的 类型. 但它们的研究是属于连续概率的范围，我们预备 
在第二卷 再谈. 这里，我们将满足于说明以下的 事实： 在最简单的物理假设下可以 
得出： pOhA ) 就是“在一个指定长度的固定区间内有々个点（事件)”的概率 • 本节 
中，我们所用的方法是粗 糙的. 在第12章和第17章，我们将以更适当的方法来处理 

这个问题. 

我们需要把以下两个物理假定用数学语言表达出来： （ D 对时间而言，试验是 
在固定不变的情况下进行的； （2) 在不相交的几个时间区间中，事件的发生次数是 
随机独 立的. 在续型的概率理论中，我们可以直接地表达这些陈述，但由于本书 
限制在离散型的范围以内，我们只得先用一个近似的有限模型，然后再过渡到极限 • 
我们想像把单位时间区间分成为数很大的《等分，每个子区间的长度是 V ”.该 
区间中的一种给定的有限个点构成的族，可视为某随机过程的一个结果，此过程满 
足条件：其中每个子区间含有该点族中的点数大于或等于1的概率都是于是一 
个子区间或者是空的，或者有点，不叠交的时间区间之间独立性假设使我们可以用 
伯努利试验来处理.假定一个子区间恰含&个点的概率为 6( 心 n ， P ”). 我们把此离散 
模型用 ⑺的办 法来含糊地连续化.所有的子区间一个点都不含的概率必须趋于一 
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个有限数.但是，此事件是“没有一个盒子”被占位的概率，它应是 （1 一 A ,)". 取 
对数，发现欲使此数列趋于一个极限，只有当趋于一个极限才行.这种 
极端情况要排除，否则，即使在极小的区间，其中所含之点都要有无穷多个.因此， 
我们模型要求存在一个有限数 A ， 使《久—1在这种情况下，恰有々个子区被占位 
的概率趋于 / KhA )， 因为我们考虑的是单个的点，从而被占位的盒子 1 的个数在极限 

情况下与含于单位时间区间的这一族点的个数一致 . 2 

在应用中，需要将任意长度为 f 的区间来取代单位区间，但我们仍将此长度为 
?的区间分成《个子区间， 且 P ” 的意义仍如前，但现在子区间的个数由最为靠近奴 
的整数所给定.取极限的过程中，除了 A 代之以; U 以外，其他过程完全一样.这使 
我们要考虑 

pCkiM) = e~^ ( 6 . 2 ) 

作为长度为 i 的固定区间内恰有々点发生的概率.特别地，在长度为 f 的区间内没有 
一点发生的概率是 

/>(0 ； At) = , (6. 3) 

从而，有一点或多点发生的概率是1 一 

参数 A 是一个物理常数，它是由 i 轴上随机点的密度来决定的. A 愈大，没有点 
发生的概率 （6.3) 愈小. 设一个物理试验大量的重复进行例如说 N 次，并且每次我 
们都记录下在长度为£的固定区间内事件发生的数目.又设凡是恰有 々个事 件发生 
的次数，则 

队 + 凡 + 风 +…= N. (6.4) 

于是，在 JV 次试验中所观察到的点的总数是 

Nj + 2N 2 + 3iV 3 + …= 了， (6. 5) 

并且其平均数是 T / N . 如果 N 很大，则我们可期望 

从) (6.6) 

(这是概率论所有应用的基础，我们将于第10章中用大数定律给予证明且加以精确 

化).将 （6.6) 的结果代入（6. 5 )，我们得到 

T ^ N{p(l ； Xt) + 2/K2 ; 々）十 3/)(3; 以 ） H - } 

= Ne^AMl + y+ + = NM ， (6.7) 

于是 


1. 这里视一个区间为一个盒子. 一 泽者注 

2. 其他的可能设想.我们的模型可以作为研究车祸的合理近似，但不能用于多部车同时撞毁的场合， 

因为此时卷进车祸的车辆数超过1，从而要考虑单点，两点，三点， . ，等等.在极限情况下， 

这将导致需要在第12章才能研究的复合泊松分布 • 从更一般的过程的观点看，我们此处仅仅计算 
跳跃数，这些已超出我们的研究限制了. 
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T / N . (6.8) 

这关系式提供了一个从观察值去估计 A 以及将理论与试验相比较的方法.我们将在下 
一节的例子中说明这点. 

空间中的分布 

我们已考虑过随机事件或随机点在 r 轴上的分布问题，但同样推理可以应用到平 
面或空间上的点的分布.我们以面积或体积是 i 的区域来代替长度是 r 的区间，并 
且，我们的基本假设是任何固定的区域中恰有 々点 发生的概率仅与区域的面积或体 
积有关，而与其形状无关.此外，我们还有与以前相同的假设： （1) 当 i 小时，在体 
积为 （的 区域中有多于一点发生的概率与 i 相比较而言是小的； （2) 不相交的区域是 
彼此独立的，为了求出在体积为£的区域中恰有々点发生的概率，我们将区域分成许 
多子区域，并用〃次试验中恰有 々次成 功的概率来逼近我们所求的概率.这就是说忽 
略了同一子区域中有多于一点发生的可能性，但由假设（1)，当〃 — ％时，其误差 
趋于零.于是，在取极限以后，我们又得到泊松分布 （6.2). 天空中的星体，蛋糕 
中的葡萄干，牧草种子中的杂草种子，物质中的瑕疵，以及原野中动物巢穴等都按 
照泊松定律来分布.至于实例，可参看 6.7 节例 （b) 与 （e). 

6. 7符合泊松分布的观察结果 1 

(a) 放射性分裂.设放射性物质放射出 a 质点，在时间 i 内到达指定区域的质点 
数，是随机事件遵从泊松定律的著名例子.当然，由于物质在不断地放射，时间太 
长的话， a 质点的密度就要下降.但是，就镭而言，不经过许多年，物质的减少是觉 
察不出来的.于是，对于较短的时间区间，情况可考虑为不变的.因此，这现象满 
足导出泊松分布的理想假设. 

在一个著名的放射性物质的试验中 [41] ，我们观察 JV=2608 次，而时间区间是 
7. 5秒，并且每次都记录下到达指定区域的质点数.表 6-3 给出有々个质点的区间数 
N k ， 而质点总数是了=1^风=10 094,平均数是 T/iV= 3. 870. 理论数值 

3. 870) 是很靠近于观察数值 iV* 的.要判断两者的拟合程度，我们需要对随机起伏的 
可能范围进行估计.统计学家是用检验来判断拟合 度的. 由这个准则，人们可预 
期在理想的条件下，1⑻个类似的情形中，大约有I 7 个的拟合程度比表 6- 3还 要差. 

(b) 投在伦敦的飞弹.作为随机点的空间分布的例子，我们考虑第二次世界大 
战中投在伦敦南部的飞弹的统计.将整个面积分为 N=56 7 块小面积，每小块面积 
是1/4平方公里.表 6-4 记录了中6个飞弹的面积数风 . 2 投下飞弹的总数是 T= 


1. 泊松分布有时称为小数律或稀有事件律.这些称谓难以接受且对泊松分布在实践中的重要性有损 • 

下面的例子说明确实如是. 

2. 这数字是由文章 [42] 得出的. 
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S ^ N , = 537, 平均数是; U = r / iV = 0 . 9323 ….这观察结果对泊松分布的拟合程度是 
很好的.由检验可知，在理想的条件下，100次比较中大约有88次的拟合度比 
这观察结果的拟合度还要差.我们有兴趣的是，大多数人都相信受弹点有聚结的倾 
向.若果真如此，中弹很多的地区与没有中弹的地区岂不是要多些，而中间的情形 
要少些呢？然而表 6-4 却明白地表出完善的随机性与均匀性.这个例证说明了一个 
公认的 事实： 随机性在没有经过训练的人的思维中，就会成为有规则性或有聚结的 
倾向. 


表 6-3 例 （ a ): 放射性分解 



203 

383 

525 

532 


( k ； 0,9323) 


229 


226. 74 


(h 3.870) 


54. 399 
210. 523 
407. 361 
525, 496 
508. 418 



211 


21 L 39 



^10 

总数 


408 

273 

139 


16 

2608 


6-4 例 （ b ): 投在伦敦的飞弹 


98, 54 


30. 62 


7. 14 


：> 3.870) 


393, 515 
253. 817 
140. 325 


67. 882 
29. 189 
17,075 
2608. 000 


以上 


L 57 


( c ) 细胞中染色体的交换. X 射线的照射产生了有机细胞中的某种变化过程，这 
种过程叫作染色体的 交换. 在连续照射的过程中，发生交换的概率是保持不变的. 
按照理论，恰有々个交换发生的细胞数 iV * 服从泊松分布，而且理论上还可预言参数 
入与照射强度、温度等等的关系.但是，我们不打算详细讨论这内容 • 表 6- 5记录了 
11种不同试验的结果.它们是按照拟合度排列的.最后一列给出了与理想情形的逼 
近的百分比，在这种理想情形中，随机起伏使得拟合度更差（用 x 2 - 标准 检验) .理 
论值与观察值的拟合度是令人惊奇的. 

( d ) 电话接错.表 6- 6是电话接错的一个统计、其中被观察的电话呼叫次数共 
有 N =267 个，而表示恰有次接错的电话数.我们再一次看到，泊松分布 P(h 
8. 74) 对这观察结果的拟合程度是很好的（由检验，偏差靠近于中值) • 在论文 
[43] 中，读者可以找到遵从泊松定律的其他电话统计.在某些情形（例如有分机的 
团体线及公用电话等）事件之间是有明显的依赖关系的，此时，泊松分布就不能适 

合所观察的结果了. 


1. 这统计表是由论文 [43] 中得来的，这论文含有32种不同统计表的图形分析. 
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表 6-5 例 （ C ): 由于 X 射线的照射而引起的染色体的交换 


实 

验 

数 

■ 

有々个交换的细胞 

总数 N 

f 〜水准的 
百分比 

■■ 

1 

2 

>3 


观察值 Ni 

753 

266 

49 

5 

1073 


1 







95 


Np ( k ； 0. 35508) 

752.3 

267. 1 

47. 4 

6. 2 



9 

观察值凡 

434 

195 

44 

9 

682 


L 

Np ( k ； 0. 45601) 

432. 3 

197,1 * 

44. 9 

7, 7 


\J kJ 


观察值 Na 

280 

75 

12 

1 

368 


3 







65 


Np ( k ； 0. 27717) 

278, 9 

77. 3 

10. 7 

LI 



4 

观察值 W 

2278 

273 


warn 

2566 

65 

i 


Np ( k ； 0. 11808) 

2280. 2 

269. 2 

15, 9 




5 

观察值 W 

593 

143 

20 

i 

3 

759 

45 


Np ( k* f 0. 25296) 

589. 4 

149. 1 

18. 8 

1.7 



a 

观察值 M 

639 

141 

13 


793 

45 

D 

Np ( k ； 0.21059) 

642. 4 

135. 3 

14. 2 

1.1 1 



7 

观察值 M 

359 

109 

13 

1 

482 

40 

{ 

Np ( k ； 0. 28631) 

362. 0 

103. 6 

14. 9 

1.5 



8 

观察值 Nt 

493 

176 


2 

697 

35 


Np ( k ； 0. 35372) 

498.2 

167.3 

28. 1 

3.4 



9 

观察值叫 

793 

339 

62 

5 

1199 

20 


Np ( k ； 0. 39867) 

804. 8 

320. 8 

64.0 

9. 4 



10 

观察值 

579 

254 

47 

3 

883 

20 


Np ( k ； 0. 40544) 

588. 7 

238. 7 

48-4 

7. 2 



1 1 

观察值 

444 

252 

59 

1 

756 

5 

丄丄 

Np Ur ，0. 49339) 

461. 6 

227. 7 

56. 2 





表 6-6 例 ( d ) :电话接错 


k 

N k 

— Np(k ； S. 74) 

k 

N k 

Np(k,S. 74) 

0-2 

1 

2.05 

11 

20 

24. 34 

3 

5 

4. 76 

12 

18 

17. 72 

4 

11 

10. 39 

13 

12 

11. 92 


14 

18.16 

14 

7 

7,44 

6 

22 

26. 45 

15 

6 

4. 33 

7 

43 

33. 03 

>16 

2 

4.65 

8 

31 

36,09 


267 

267, 00 

9 

40 

35.04 




10 

35 

30. 63 


. . 



( e ) 数细菌与数血球.图 6- 1表示涂上细菌群的 Petri 片的照相，在显微镜下观 
看细菌群呈现为黑点 • 将片分成一些小方块 • 对于八种不同的细菌作实验，表6-7 


记录了恰有々个黑点的小方块数 [44] ，这里，我们得到了泊松分布应用于随机点的空 
间分布的一个重要的实际典型例子 • 
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图 6-1 细菌在标本片上 


表 6-7 例 （ e } : 细菌的分布 


■ 

■ 


■ 

■ 

■ 

■ 

■ 

■ 


观察值 iV * 

■ 

19 

26 

26 

21 

13 

■ 


Q7 

泊松理论值 


18. 0 

26.7 

26.4 

19.6 

11. 7 



y t 


26 

40 

38 

17 

warn 





同 上 









66 


27. 5 

42, 2 

32. 5 

16. 7 

DH 


IBIH 


i 



86 

49 

.30 




■■■■I 


同 上 

HUH 


i 

i 

1 





26 



82. 2 

! 

60, 8 

30. 0 







83 

134 

135 

101 

40 

16 




同 上 









63 


75.0 

144. 5 

139. 4 

! 

89, 7 

43. 3 

16. 7 





mam 

16 

18 

15 






同 上 









97 



16. 2 

19 - 2 

15. 1 


■am 





7 

11 

11 

11 






同 上 












10. 4 

13, 7 

12.0 


：DH 





HH 


14 

21 

20 

19 


WBm 


同 上 













15. 8 

20. 2 

19. 5 

■EH 





60 

80 

45 

16 

* 

9 





同 上 









78 


62.6 

75.8 

45.8 

18. 5 

7. 3 






每一行的最后一个数据都包含了更高分组的图形，因而应该标以1或者更多个”. 


6.8 等待时间 • 负二项分布 


考虑 〃次 相继的伯努利试验，我 们问： 一直到出现第〃次成功为止到底需要做多 
少次试验.其中 r 是一个固定的正整数 • 当然，〃次试验的成功次数可以少于 r ， 但 
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第 r 次成功发生在第次试验的概率不依赖于72,而只依赖于和象因为一定 
有 v > r ， 所以我们愿意把 t ; 写作 z ; = r+t 第？ ■次 成功发生在第 r + A 次试验（其中 
々=0，1，…）的概率用 / U ; r ， 户）来表示.它等于在 r 次成功之前恰有1次失败的概 
率.而这个事件的发生，当且仅当 一 1次试验中恰有 々次 失败而下一次（即第 

r + H 欠）一定出现成功，但它们的概率分别为^ • / Z " 1 〆 和 f ， 所以 

/(々; r ，々 ) = ( r + 】 1 ) • p r q k . (8.1) 

用第2章 (12.4) 把二项式系数改写一下，便得另一 形式： 

/(々;?*，/?)=( ;) 〆 (— g )*，6 = 0，1，2，"' (8.2) 

现在假定伯努利试验一直继续，直到第 r 次成功出现为止.一个标准的样本点可 
以用这样一个序列来 表示： 具有々个 f a 任意）恰有 r 个 S 而且序列的最后字母是 
S . 由定义，这样的点的概率为 〆 V . 然而，我们必 须问： 试验一直做下去，无法结 
束的可能性是否存在，也就是说，是否有无穷试验序列，其成功次数少于因为 

oo 

是第 r 次成功发生在有限次试验的概率，因此， 一 个无穷试验序列中所 

是 =0 

包含的成功次数少于 r 这个事件不可能发生当且仅当 

oo 

f ( k ； r 9 p ) = 1. 

k=0 

这是对的，因为由二项定 理有： 

S ( _ r )(-9 > A = m— r = p 

ho \ / 

将 （8.4) 乘以，我们得到 （8.3). 

在我们的等待时间问题中， r 必须是固定的正整数，但是由 （8.1) 或 （8.2) 所 
定义的量是非负的，而且 （8.3) 对任何正数 r 都成立.对于任何一个固定的实数 
r >0 和0<户<1,序列 {/ a ; r ，/>)} 叫作负二项分布.在很多应用中会碰到这一 分布. 
(在 5. 8节习题24里它是作为波利亚分布的极限形式出现的 .） 当 r 为正整数时， 
{/ a ; r ， p )} 可以解释为第 r 次成功所需之等待时间的概率分布，正由于此，我们也 
把它叫作巴斯加 （ Pascal ) 分布.当 r = l 时，它化为几何分布 

例 （ a ) 巴拿赫火柴盒问题 1 .某一数学家经常在左边口袋放一盒火柴，右边口袋 
也放一盒 火柴. 当他要用火柴的时候，他随机地从一个口袋中去取火柴，因此连续的 
抽取构成了一串 P = l /2 的伯努利 试验. 假定最初每盒火柴恰巧包含 N 根，我们 考虑: 
数学家第一次发现空盒子的时刻.在那一时刻，另一盒火柴可能还有0,1，…， JV 根火 


1. 此例源干斯坦因豪斯 ( H . Steinhaus ) 在关于巴拿赫的一次演说中，提到巴拿赫抽烟爱好的趣事.此趣 
事意想不到的广为转载于诸文献，故此采用此名，不予变改- 


(8.3) 

(8.4) 
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柴，我们用 W 表示其对应的概率.我们令从左边口袋选取火柴为“成功”.“当发 
现左边口袋的火柴盒空时右边的火柴盒中尚有 r 根火柴”这一事件当且仅当下列事 
件发生时才 发生： 恰有 iV — r 次失败发生在第 N +1 次成功之前.这个事件的概率为 
/ CiV - r ； iV + ia /2). 同样的推理可以用之于右边口袋.因此，所要求的概率为 


u r = 2 /(N - r ; JV + l ， j )= r )2- 2N4_r . (8.5) 

表 6-8 给出了 iV =50 时的数值[参见 6 . 10节习题 21 — 23 和 9. 9节习题 11]. 

表 6-8 火柴盒问题中的概率 （8. S ) 


r 

U r 

Ur 

r 

Ur 

U r 

0 

0, 079 589 

0. 079 589 

15 

0. 023 171 

0. 917 941 

1 

0. 079 589 

0. 159 178 

16 

0-019 081 

0. 937 022 

2 

0. 078 785 

0. 237 963 

17 

0.015 447 

0. 952 469 

3 

a 077 177 

0. 315 140 

18 

0.012 283 

0. 964 752 

4 

0. 074 790 

0. 389 931 

19 

0_ 009 587 

O , 974 338 

5 

0,071 674 

0. 461 605 

20 

0, 007 338 

0. 981 676 

6 

0. 067 902 

0. 529 506 

21 

0. 005 504 

0. 987 180 

7 

0, 063 568 

0, 593 073 

22 

0. 004 041 

0. 991 220 

8 

0. 058 783 

0, 651 855 

23 

0_ 002 901 

0, 944 121 

9 

0. 053 671 

0, 705 527 

24 

0. 002 034 

0_ 996 155 

10 

0* 048 363 

0. 753 890 

25 

0. 001 392 

0. 997 547 

11 

0, 042 989 

CL 796 879 

26 

0. 000 928 

0, 998 475 

12 

0. 037 676 

0. 834 555 

27 

0, 000 602 

0. 999 077 

13 

0_ 032 538 

0, 867 094 

28 

0, 000 379 

0. 999 456 

14 

0. 027 676 

0. 894 770 

29 

0. 000 232 

0. 999 688 


假定开始时，每盒火柴有50根， 〜是 发现第一盒空时第二盒恰有 r 根火柴的概率. U r = «o + « r " + 
u r 是对应第二盒不多于 r 根火柴的 概率. 


( b ) 推广乒 乓球.如果把取中两盒火柴的不同盒赋以不同的概率，那么上面的 
例子的情况会更清楚 • 为了富有变化，在此用很不同的方式来描述.假定彼得和保 
罗二人玩一个游戏，这可用伯努利试验序列来刻画，其中的概率 A 和9是反映他们 
的技术的两个参数 • 在通常的乒乓球比赛中，谁首先累积赢得21个球谁就获胜.为 
了与前一个例子进行比较.我们考虑一般情形，要求先累积赢得 2 t ；+ l 个球才能获 
胜.这场比赛至少要进行 2 x ^+1 次，至多进行 h + l 次.令彼得在第41；+1 — r 次获 
胜的概率为此事件发生当且仅当前知 一 r 次中彼得赢％个球而此后的一个球又 
是彼得赢了.因此 

a r = ( 4 ^~ r y" v ^* ( 8 . 6) 
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在此游戏中，彼得获胜的概率为％ +… +‘/( 原书此处把误写成 iV ， 特此更正 .） 
如果取，/ > = g = l /2 ，概率〜 +6 j •就是前例中的 a . | 

6. 9 多项分布 


二项分布很容易推广到一般的情形，即每次试验有若干个可能结果的〃次重复 


独立试验.设^，…，£；是每次试验的可能结果，且每次试验中£：,发生的概率是 
// = l ,2,-, r ). 当 r =2 时，它化为伯努利试验序列.在一般情形， A 应满足以下 
的条件 

A + 九 + …+ A = 1 A . > 0. (9.1) 

”次试验的可能结果可表为形如…的《元序列 • 并且在”次试验中& 出现心 
次，出现&次，…，&出现 L 次的概率是 



怂！々 2 !… I ! 


p \ 说…， 


(9.2) 


其中&是任何非负的整数并且满足 

h + 是 2 + …+ 1 (9. 3) 

当时， （9.2) 就化为二项分布，其中 pi = P ， p 2 = <?，々1 = 々，怂 =» — L 从第2章 
公式 （4.7) 出发，我们可用证明二项分布的方法来证明这个一般情形的 公式. 

因公式 （9. 2) 是（外+… +/ v ) n 多项展开式中的一般项 ，故 （9.2) 称为 多项分 
布. 这分布主要应用于个体被区分为多于两类 的有放回抽样 （例如，按照职业进行 
分类). 

例 （ a ) 掷12个骰子，问骰子的每面都出现两次的概率是多少？设^，&，•••，£； 
表示骰子的六个面， 由于怂 = 2，/>, = ^■，纟=1，2,…，6,所以我们的答案是（12!)(2)— 6 


(6)~ 12 =0. 0034…. 

( b ) 抽样. 把一个具有 iV 个元素的总体分为 r 个子类&，…，瓦，子类的大小分别 
为 Np ^ — ^ NPr . 多项分布给出了由这个总体中有放回地抽取一个大小为《的随机样 
本的各种可能组合的概率. 

( c ) 多重伯努利 试验. 两串伯努利试验合在一起可考虑为一个具有四个可能结果 
(5,5)，（5，厂)，（厂，5)，（尺杓的联合试验，其中介，奶与/> 2 ,92分别为这两串伯努利 
试验的成功与失败 概率. 如果这两串试验是独立的，则联合试验中四个可能结果的 
概率分别为九九，丸仍，切九 ，％ g 2 . 若々1，是2，是3，是4是四个整数，其和为”，则”次联 
合试验中 SS 出现々：次， SF 出现々 2 次， FS 出现 h 次， FF 出现匕次的概率是 


1. 比赛恰在第 4 x；+l — r 次试验结束的概率为此处札是由 （8.6) 式右边把夕与《?的位置交换 
后所得之数.——译者注 
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n \ 

h\h\h\kA 


p K ^ p K +^ 3 ^ 



(9.4) 


抽样检查过 程可作为我们的一个特例.一个成品是合格品或废品的概率分别为夕和 
q , 成品是否被检査的概率分别为 〆 和9'，因成品是否被检查与它的质量无关，所以 
我们有两串独立试验[参看第 6. 10节习题25与26，以及9_ 9节习题 12], 


6. 10 习 题 


1. 设性别的分布都是等可能的，问6个小孩的家庭中恰有 3 男3女的概率是多少？ 

2. —个玩桥牌者连续3次没有得到爱司，他是否有理由埋怨运气不好？ 

3. 随机数字序列要有多长才能使得序列中数字7出现的概率至少是9/10? 

4. 设在玩桥牌中每次桥牌分配是独立的，问需玩多少次才能使得一个事先指定的玩牌者至 
少有一次得4张爱司的概率大于或等于1/2?如果“将事先指定的玩牌者”换为 “ 有一个 
玩牌者”，则结论又如何？ 

5. 设中靶的概率是1/5，问10次独立的打靶中至少有两次中靶的概率是多少？ 

6. 在上题中，如果已知至少有一次中靶，问至少两次中靶的条件概率是多少？ 

7. —组任意选取的13张桥牌中，恰有两张红牌的概率是多少？并将这概率与成功概率为 
户 =1 /2的伯努利试验中的相应概率相比较（关于桥牌的描述，可参看第1章的脚注) • 

8. 6个人的生日都在12个月中的任意两个月份，而在其他的10个月份内没有这6个人的生曰的 
概率是多少？（假设每个人的生日是彼此独立的，并设生日发生在某个月份是等可能的 •） 

9. 掷6个骰子，求下列问题概率： （ a ) 至少有一个幺点出现； （ b ) 恰有一个么点出现； （ c) 

恰有两个么点出现.并与相应的泊松近似值相比较. 

10. 如果左撇子的平均百分数是1%，试计算200人中至少有 4 个为左撇子的概率 • 

11 . 设一本5⑻页的书中含有500个错处，试计算一页中至少有3个错处的概率 • 

12 - 如果总体中色盲者的百分数是1%，问有放回的随机样本应该多大才能使样本中有一个色 
盲者的概率大于或等于 0. 9 S ? 

13. 在上题中，如果样本的大小是100,求以下的概率： U ) 样本中没有色盲者； （ b ) 样本中 
至少有两个色盲者. 

14. 如果想让蛋糕中至少含有一粒葡萄干的概率大于或等于0. 99 ,试计算蛋糕中葡萄干的平 
均数. 

15. 扑克游戏中出现蕞大同花的概率是问”要多大才能使 ”次扑 克游戏中没有 

最大同花出现的概率小于 1/ e 〜1/3 (注： 不用计算便可得出答 案). 

16. 一本书包含 n 页，每一页的印错处平均 为1 计算至少有一页其中印错之处超过々的 

概率. 

17. 假定有两类颗粒（例如点心中的不同类的葡萄干，质料中的不同类的杂 质)， 在一块给定 
的体积中，第一类的颗粒恰有 j 个的概率为第二类的颗粒恰有々个的概率为户 
a ' b ) ， 而且假定这两个事件是相互独立的 • 证明这个给定的体积中总共包含〃个颗粒的 
概率为 />( n ; a +6) (把这一论断和假设加以抽象化)_ 
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18. 交通问题.十字路口的交通的畅通程度，是用任意给定的一秒钟内有一部车子通过的概 
率户来描述的，而且在不同秒的时刻，车子的经过是互不影响的.把秒作为不可分的时 
间单位，于是伯努利试验模型在此可以应用.假定一个步行者只能在后三秒钟没有车子 
通过的情形下才能跨过街道.求出一个步行者恰巧等待々= 0，1，2,3,4秒的概率.（其一 
般的公式并不很显然，在第 13. 7节讨论成功的连贯理论时将把它推出来 .） 

19. 设两个人都扔《次硬币.求硬币出现正面的次数相等的概率. 


20. 在一个成功概率为的伯努利试验序列中，求 a 个成功出现在6个失败以前的概率 .（ 注： 
这个结果至多在 a +6 — 1次试验以后就可决定. / 这问题在博弈的古典理论中起着作用， 
它和下面的如何分赌注的问题 有关： 当一方差 ai 获全胜，另一方差6点获全胜时博弈中 
断，如何分配赌注 .） 

21. 在巴拿赫火柴盒问题 （第8节）中， 求出： 一盒恰用完（当拿火柴时发现它是空的）时 
另一盒倘恰有 r (其中 r = l ，2, …， N ) 根火柴的概率 • 

22. (续上题). 应用上面的结果，求 出首先 用完的那一盒不是最初拿出而发现它是空的概率 

X. 并证明由此所得之表达式可化为 1=( 2-W 1 ， 或者近似地为 j ( Nn)~ v K 

23. 两个校对者独立地校对某一本书的印样，他们各发现々：和匕个错误，其中有个错误 
被这两个人同时发现.试给出印样的错误的个数 〃的一 个合理的估计_ (假定这两个校对 
者对应于伯努利试验，他们发现一个错误的概率分别为勿和/ >2. 可应用大数定律_) 

注意： 这个问题是用简单术语来描述卢瑟福 （ Rutherford ) 的闪烁计数器的_ 

24. 用陷阱来估计一群野兽的总体的大小. [45] 接连设立 r 次陷阱.假定每一个野兽陷入的概率 
都同样为最初共有〃个野兽.只当野兽被捕（拿走）时，两次相继设立的陷阱的情况 
才会改变.求出设 r 次陷阱所捕获的野兽分别为〜，屯，…， n r 的概率 • 

25. 多重 伯努利 试验.在 6.9 节例 （ c ) 中，如果知道 （ S ， F ) 与 ( F ， S ) 中有一个发生，分别 
求(5疋），（^\3)发生的条件概率户及士证明当內>/>2时， fi > l /2； 当/ > 2 > A 时， 
/ ><1/2. 

26. (续上题如果已知在 n 对试验中 （ S ， F ) 与 （ F ， S ) 共发生 m 次，证明 （ S ， F ) 恰巧 
发生々次的概率是 6 U ;72，/>). 

27. 二 项分布与泊松分布的结合. 设一只昆虫生 〃 个卵的概率是 f ( nA )， 而卵能发育为成虫 
的概率是 A 又设每个卵是否发育为成虫是彼此独立的.证明有&个后代的概率是遵从参 
数为 Ap 的泊松分布. 

注意：同样情况下的另一个 例子： 々个染色体分裂的概率为 pG ; A )， 一个分裂的染色体 
恢复原状的概率为 A (类似的一些其他的例子，请参见 9.1 节例 （ d ) 及第 12.1 节 •） 


28. 证明定理 2 :多项分布 （9,2) 的最大项满足不等式 


1. 参见 [46], 瓦尔德 （ Wald ) 利用这个结果设计了一个实用的方法，用于比较两串由经验给定的试 
验（例如，两架机器的产品），而选出成功概率较大的一串 • 他把这个问题简化为如下的问题，在 
一串伯努利试验里求成功频率是否显著地不同于 1/2. 

2. 在第一版中，只断言 A — 咕 Kr . 此处的改进和精练的证明都属于莫兰 （ P •久 P . Momn ). 
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npi — l<iki ^ (n + r — l)p { f i = 1 ， 2,…， n (10. 1) 

(提 示： 首先证明，最大项的充分必要条件是办九<九 （t + 1) (对每一对把这些 
不等式对全部的 j 加起来，同时也对全部加起来， ） 

29. 当&是 不超过 A 的最大整数时，泊松分布中的项/> Oh A ) 达到最大值. 

注意： 问题30—34是关于二项分布的泊松逼近的.把定义为 A ， m 定义为不超过 ( n + 
1) P 的最大整数（也就是说， m 是二项分布的中心项的指标). 

30. 证明当々从0跑到 oo 时，办 =6 U ; … />)//>(々; A ) 最初上升而后下降，而且在时达到 

它的最大值. 

31. 当 々增 大时， 6( 幻最初比 〆 hA ) 小而后变大最后又变得比 〆 

32. 如果 w — ⑺， p -0 使得 n />= A 保持为常数，则 

b(k ； n f p) pik ； X) 

对全部6—致地成立 • 

33. 证明： 

k (1 —+ ) . (10.2) 

34. 应用第 2 章不等式（12.26)，从 (10. 2) 推出 

pika )^ n > b ( ktn . p ) > p ( k ； X )^ k2n ^ xZ/i ^ x \ (10. 3) 

注意： 虽然 （10,2) 非常粗糙，但 （10.3) 却给出较精确的误差估计 • 用类似于第2章第 
9节的计算方法可以很容易地改进（10,3)_附带提 一下： 应用习题30的结果，容易看出 
(10.3) 左边的指数可以用 戒 / w 来代替，而后者小于等于 ( P +厂 1 ) A . 


其他的极限定理 

35. 超几何分布的二项 逼近、 一个包含有 N 个元素的总体分为红黑两类元素，其比例为/>: 9 
(其中 P + g = l ). 无放回地抽取一个大小为”的 样本. 其中恰有々个红元素的概率由第 
2, 6节的超几何分布所给出. 证明： 当 iV—m 时这个概率趋于 
36* 在前面一个问题中，令 P 很小，《很大，而大小适当*于是超几何分布可以用泊松 
分布来 逼近. 不用二项逼近来直接验证这个关系. 

37,在 6.8 节的负二项分布 {/( hr ， p )} 中，令 和^ ^°°使保持 常数.证明： 


f(k ； r f p) pik\X ) 、 

38. 多重泊松分布. 注意： 这道题为波利亚分布提供了一个极限理论，参见 5 . 8习题24.当《 
很大而大小适当时，此处 i = l , …， r —1. 多项分布（9_2)可以用 

p -(；4 十■叶 — A ^ l ^_ 

h\k 2 



[近. 并证明这些项之和为 1_ (注意：问题口和二重泊松分布有联系 * ) 


39. ( a ) 应用显然的关系 


b(k ； n,p)^b(n—k ； n 9 q ) , 


从 （3,5) 直接推出 （3. 6 乂 

( b ) 用归纳法和从第4章 （3.1) 的一般的求和公式推出二项分布_ 
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40. 证明 Yikb ( k \ n ， p)=np 和2是 2 6(是;”，/0=?2 2 /> 2 ^ rnpq , 

41. 证明 E々 2 p(々;A)=A 2 +A_ 

42. 验证等式 

k 

y ^ b ( v ； ni ， p ) b{k — v ； ri2 ， p ) — b ( k ； n \ + 叱 ，/?), (10, 4) 

v=0 

并解释这等式的概率意义， 提示： 利用第2章的公式 （6.4). 

注意： 等式 （10.4) 是卷积的特殊情形，这在第11章将提到，而另一个特例是（10_5). 

43. 验证等式 

k 

p ( v •，入\) p{k — 口;义2) = pik^Xi + A2) - (10. 5) 

r=0 

44. 设 

k 

B( k ; n ^ p ) = (10. 6) 

■y = 0 

是 n 次试验中至多有々个成功的概率，则 

Bikin^r l ^ p ) — B ( k ; n ， p ) — pbik ' n ’ p ) ， (10, 7) 

B(k + 1 + 1，/>) = B ( k ; n ， p ) + 96(^ + 1 p ). 

(a) 由定义出发证 明之； （ b ) 分析证明之. 

45. 证明 1 

B ( k ; n , p ) = ( n - k ){^) (10.8) 

与 

1 一 B(k；n 9 p) — n(^ n ^ 1 ) /(1 — 广广卜 1 山 （ 10 . 9 ) 

提示： 用分部积分法或将等式的两边对求导数 • 这两个结果可以互相 推导. 

46. 证明： 

户 (0;A) + … + />(WA) = ^ e ^ x n dx . (10_ 10) 

r n[J x 


1. (10. 9) 中的积分是 不完全 的贝塔 （ Beta ) 函数，对于々与《从0变到50，以及 /> = ()• 01， 0. 02, 
0 . 03 ,…， 1 — 的七位小数表是由下面的书： “ K . Pearson ， Table of incomplete beta func- 

tion , I > ondon(Biometrika Office ) ， 1934” 给出 • 
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二项分布的正态逼近在理论上和实用上都值得关注.由于它导出了第一个极限 
定理，它在概率论的发展中扮演了重要角色.从现代观点看，它仅仅是中心 极限定 
理的一个特殊情形，对中心极限定理，在第10章中我们还要讨论，但全面的详细的 
研究，要放在第二卷书. 

夕=1/2的特殊情形我们曾经在第3章中应用它得出‘‘初过”和“符号变化数” 
等的极限定理.这种情形十分简单，我们将在 7. 2节单独处理它. 

7.1 正态分布 


为了以后的方便，我们在这里先引进两个重要的函数. 
定义 函数 


称为正态密度函数，它的积分 


n(x) = 



mix ) = 



a l ) 

a 2) 


就叫作正态分布函数. 

n (： r ) 的图形是对称的钟形曲线（如图 7-1 所示乂 但须注意，图中两个坐标轴所 


取的单位是不同的. n ( x ) 的最大值为 1// G 〜0,399,所以，在通常的（同单位的) 
笛卡儿坐标里 _ y = nCr ) 的图形比画出来的要扁平 得多. [符号 n 和況不是标准的，在 
前两版本中，我们用4 和①， 但是为了与第二卷书的一些要求符合，第三版中用 n 和 


況代替4和黾] 

引理1 n U ) 的图形与： r 轴所围成的区域的面积为1，即是 




j 


n ( x)dr = L 


证显然 


n(jr)dr | 


2 


n(jc)n(y)dxdy 


2ttJ 


~ijc 十 y )/2 


djody* 


j 


—co 


这个重积分可用极坐标来表达 


2 kJ 


2 jt 


d 0 


疒 +oo 


dr 


rdr = 一 e 




(1,3) 


(1.4) 

(1.5) 
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表 7-1 给出当 x 取正数时沉 （ x ) 的函数值 S 而从（1_6)又可得出沉（一工). 

在很多情况下，当: T 很大时，对“尾量” 1 一贝（: T ) 有一个初等的估计是合宜的.下 
面将给岀这个估计. 

引理2 当 x — ⑺时 2 

1—D 〜工 - hCx) (1.7) 

更精确些说，对任意 x >0， 有下面的双重不等式 

[x— 1 — jT 3 ]n( ： r) <C 1 — 3^(x) <C x~ s n(x) (1* 8) 

成立（参见第 7 章习题 1). 

证显然， 

[l-3x- 4 ]n(x) <n(x) < [1+x— 2 ]n(x). (1. 9) 

而 （1.9) 中三项恰是 （1.8) 相应的三项的微商乘以负1，故把 （1.9) 中三项分别 
从 x 到 co 积分即得双重不等式 (1.8). ► 

术语注解.在数学文献中，术语分布函数就是指这样的非降函数 F (x)： 当上―一〜时 
F (x) 趋于0，而当: r —cxo 时 F (X)趋于 1. 统计学家常常喜欢把此函数叫作“累积分布函 
数”这一术语.其实“累积”这一形容词是多 余的. 所谓密度函数就是这样的非负函数：其 
在整个X轴上的积分为1，任何密度函数从一 oo 到X的积分是一个分布 函数. 旧术语“频率函 
数”是密度函数的同义词. 

正态分布函数常常也叫作 “高斯分布” （Gaussian distribution). 但是，在高斯之前，棣 
莫弗和拉普拉斯就在概率论中用过这个函数.如果改变坐标原点与度量单位，则可使況 U) 变 
为況((：1： 一 a)/6)， 后者就叫作具有均值 a 及方差6 2 (或标准差丨6| ) 的正态分布函数.函数 

2贝 ( x 72) 一1 常常叫作误 差函数 _ 


表 7-1 正态分布函数值 



0.00 

0. 01 

0. 02 

0. 03 

0.04 

0, 05 

0. 06 

0, 07 

0. 08 

0. 09 

0.0 

0. 5000 

0. 5040 

0. 5080 

0. 5120 

0.5159 

0. 5199 

0,5239 

0, 5279 

0, 5319 

0. 5359 

0_ 1 

0. 5398 

0. 5438 

0* 5478 

0. 5517 

0. 5557 

0, 5596 

0, 5636 

0,5675 

0_ 5714 

0. 5753 

0, 2 

0.5793 

0, 5832 

! 0,5871 

0. 5910 

0_ 5948 

0- 5987 

0. 6026 

0.6064 

0.6103 

0. 6141 

0. 3 

0.6179 

O. 6217 

0. 6255 

0. 6293 

0. 6331 

1 

◦. 6368 

0. 6406 

0. 6443 

0, 6480 

0. 6517 

0. 4 

0. 6554 

0. 6591 

0, 6628 

0, 6664 

0. 6700 

0. 6736 

0. 6772 

0. 6808 

0. 6844 

0. 6879 

0.5 

0- 6915 

0.6950 

0. 6985 

0. 7019 

0.7054 

0, 7088 

0. 7123 

0. 7157 

0- 7190 

0. 7224 

0. 6 

0. 7257 

0. 7291 

0, 7324 

0. 7357 

0. 7389 

0. 7422 

0. 7454 

0. 7486 

0. 7518 

0. 7549 

0.7 

0. 7580 

0. 7612 

0. 7642 

0. 7673 

0.7704 i 

0, 7734 

0. 7764 

0, 7794 

0,7823 

0_ 7852 

0. 8 

0_ 7881 

0. 7910 

0.7939 

0. 7967 

0. 7995 

0. 8023 

0, 8051 

0_ 8078 

0. 8016 

0, 8133 

0. 9 

0. 8159 

0. 8186 

0. 8212 

0, 8238 

0, 8264 

0,8289 

0. 8315 

0, 8340 

0. 8365 

0. 8380 

1.0 

0. 8413 

0. 8438 

0, 8461 

0, 8485 

1 

0. 8508 

0. 8531 

0‘ 8554 

... 

0, 8577 

0. 8599 

0. 8621 


1. 至于更大的表，则请参看 [471 在那个表里当 jc 从0变到1时每隔 0.0001 取一个分点，当 a :> l 时 
则每隔 0.001 取一个分点，在这些分点上 给出贝 （: c ) 与％ Cr )— 沉 （一 x ) 的值直到15位小数 • 

2. 此处及以后符号“〜”皆表示两边之比趋于 1. 
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(续) 



0. 00 

0. 01 

0. 02 

0. 03 

0. 04 

0, 05 

0, 06 

0.07 

0. 08 

0-09 

1,1 

0. 8643 

0. 8665 

0. 8686 

0_ 8718 

0, 8729 

0. 8749 

0.8770 

0. 8790 

0. 8810 

0. 8830 

1.2 

0. 8849 

0, 8869 

0. 8888 

0. 8907 

0. 8925 

0, 8944 

0. 8962 

0. 8980 

0. 8997 

0_ 9015 

1. 3 

0. 9032 

0_ 9049 

0. 9066 

0. 9083 

9. 9099 

0,9115 

0. 9131 

0. 9147 

0. 9162 

0. 9177 

1.4 

0. 9192 

0. 9207 

0,9222 

0. 9236 

0. 9251 

0, 9265 

0, 9279 

0. 9292 

0. 9306 

0. 9319 

1.5 

0.9332 

0. 9345 

0. 9357 

0. 9370 

0. 9382 

0. 9394 

0, 9406 

0, 9418 

0. 9430 

0. 9441 

1.6 

0. 9452 

0.9463 

0. 9474 

0. 9485 

0. 9495 

0. 9505 

0. 9515 

0. 9525 

0. 9535 

0, 9545 

1. 7 

0. 9554 

0. 9564 

0.9573 

1 

( 0.9582 

0. 9591 

0. 9509 

0, 9608 

0. 9616 

0. 9625 

0. 9633 

1_ 8 

0. 9641 

0, 9649 

a 9656 

10* 9664 

0. 9671 

0. 9678 

0. 9686 

0. 9693 

0. 9699 

0. 9706 

1. 9 

0. 9713 

0. 9719 

0. 9726 

: 0.9732 

0, 9738 

0. 9744 

0. 9750 

1 

0. 9758 

0_ 9762 

0. 9767 

2.0 

0.9773 

1 

0. 9778 

0. 9783 

(X 9788 

0. 9793 

0. 9798 

0.9803 

0. 9808 

0. 9812 

0, 9817 

2, 1 

0. 9821 

0. 9826 

0. 9830 

0. 9834 

0.9838 

i 

0, 9842 

0. 9846 

0,9850 

0. 9854 

0. 9857 

2.2 

0_ 9861 

0, 9865 

0, 9868 

0, 9871 

0. 9875 

0. 9878 

0. 9881 

0. 9884 

0. 9887 

0, 9890 

2, 3 

0. 9893 

0. 9896 

0. 9898 

0. 9901 

0. 9904 

0. 9906 

0. 9909 

0. 9911 

0. 9913 

0. 9916 

2.4 

0. 9918 

0. 9920 

0. 9922 

0, 9925 

0. 9927 

0. 9929 

0 . 9931 

0. 9932 

0.9934 

0. 9936 

2,5 

0. 9938 

0, 9940 

0. 9941 

0.9943 

0, 9945 

i 

0. 9946 

1 

0. 9948 

0. 9949 

0, 9951 

0, 9952 

2_ 6 

0. 9953 

0, 9955 

0. 9956 

0. 9957 

0. 9959 

0. 9960 

0. 9961 

0. 9962 

0, 9963 

0, 9964 

2,7 

0.9965 

0, 9966 

0, 9967 

0. 9968 

0. 9969 

0. 9970 

0_ 9971 

0.9972 

0. 9973 

0. 9974 

2. 8 

0- 9974 

0. 9975 

0. 9976 

0. 9977 

0_ 9977 

0. 9978 

0. 9989 

0. 9980 

0. 9980 

0. 9981 

2. 9 

0, 9981 

0. 9982 

0. 9983 

0. 9984 

0. 9984 

0, 9984 

0, 9985 

0. 9985 

0. 9986 

0. 9986 

3*0 

0. 9986 

0. 9987 

0, 9987 

0.9988 

0. 9988 

0. 9988 

0. 9989 

0. 9989 

0, 9989 

0. 9990 

3. 1 

0. 9990 

0. 9991 

0. 9991 

0. 9991 

0* 9992 

0. 9992 

0. 9992 

0. 9992 

0. 9993 

0. 9993 

3*2 

0, 9993 

0. 9993 

0. 9993 

0. 9994 

0, 9994 

CL 9994 

0, 9994 

0. 9994 

0. 9995 

0.9995 


对于 i <0, 应用关系？ K — x ) = l —9 Kx ) 


7.2 预备 知识： 对称分布 


下面说明正态分布作为具有0=1/2的二项分布的逼近的用处. 

有两方面的理由说明为何要处理/>=1/2这一特殊情形，第一，由于计算非常简 
单，从而为我们引人正态分布解决问题提供一种好的思路 • 第二，这个特殊情况， 
曾在与随机徘徊的联系使用过（参见第 3 . 2节），并且值得提供一个证明，该证明不 

会被非对称分布的技术难点所迷惑 • 

为确定起见，取 ”=21>为偶数，为简单起见，令 


a k = b[v-\-k\2v^ 


a 1) 


即是，〜是对称二项分布中如脚标数所表明的项离中心项之距离， a 。 是中心项，々 

的取值从一^到 A 因为❼，所以我们只考虑々>0. 

(用第 3 章的记号 a , = pz ^ k , 下面的证明不依赖第 3. 2节以后的概念，可在此插人 .） 
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为了获得有关序列叫， A ， a 2 ，" •的性质的启示，用下述关系比较其一般项与 a 0 , 


^ = a 0 


v(v — —々 + 1 ) 


( 2 , 2 ) 


此关系 可由化 的定义直接得到. 

我们只对大的^感兴趣，而且下面我们只需考虑使 々/ p 很小的那些 I 因为其他 
的々使〜可以忽略不计 • 把分子和分母都除以 V ，则 （2.2) 右边的分数中单个因子 
都取1+>如的形式，而）的取值从 一 Q — 1) 跑到因为 


1+丄=€ 

V 


i /tj + … 


(2.3) 


其中省略号表示这样一些项，其和小于在这个逼近过程中， （2.2) 右方之分 


数近似地为一个指数函数，其指数为 


备 [1 + … + ( 卜 1)] 一 | 


V 


而且此分数与此指数函数的误差小于因此，当^⑴而0<々<仏满足 



V 


0 


(2.4) 


时，有逼近式: 


a k — a Q e 


一 ii fu 


(2.5) 


当二项式系数表示为一些因子时，由第2章 （9.1) 的斯特林 1 公式有 


<2 0 


V 


-2v 


7ZV 


( 2 . 6 ) 


代入（2_5) 得: 


a k ^ hn ( kh ), 此处 

此基本关系对 “ z ；— ⑴， 且满足 （2.4)” 成立, 


2 /Jn 


a 7) 


我们主要对阶为的々应用 (2.7), 而这种々显然满足 （2,4). 

实际中，我们要求各类区间所具有的概率的逼近式，即是下面形式的部分和 


h 关于斯特林公式中的常数.回顾第 2.9 节，我们并未证明斯特林公式中的常数是^现填补此漏 
洞如 下：代 （2.6) 中之 tt 以未知常数 c 这不影响逼近定理，除了把 （2.10) 右方乘以 c 以外•我 
们必须证明我们用具有的修正 形式， 当 《 — ^时两边之比趋于 1. 但是第6章 （3.5) 

的尾估计证明：左边介 于+与 + —4 z 2 — 2 ,至于右边，由 （1.8) 有双重不等式： 

C > c[^(z 2 ) -^-] ^ -yc™ c[l — 5t(s ： 2)] > -yc — Clt(x 2 > / ^2, 

当 Z 2 充分大后，两边分别可任意接近+和+ C . 故证明完毕. 

2. 回到 S „， 由于此字母在第3章和第6章有不同的含义_用随机徘徊的术语，八(1 1 ，^： 2 )是在时期《=- 
2 t ； 时，质点处于2%和2心之间的概率，而用现在的术语，々(^心）是 rt 二时试验的成功次数 
界于 V + xi 与 V ^ rx 2 之间的概率_在下 一 节，此数再 一 次用&表 7 TC . 
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至此，我们得到了逼近式 （2*7) 和 （2.10) 的误差限的精确估计.这些估计甚至对相对小的 
72都是可用的. 

上述研究的主要结 果是： （2,7) 中 的百分误差是 PA 2 或 P/y 阶大小的， 有时此误差也 
大了点.但在实践中，这种估计常常用于々 V 〃很大的场合，在这类场合，其相对误差的阶是 
P / n 3 . 上述估计法也指明了如何用增加相关的项数来改善逼近式（参看本章习题 I 4 ). 

7.3 棣莫弗-拉普拉斯极限定理 


下面我们将要把上一节的逼近，推广到具有/>#1/2的一般的二项分布中去•过 
程是类似的，但计算颇复杂.第一个复杂问题就是关于分布的中 心项. 正如我们在 

第6章 （3.2) 中所看到的，中心项的下标是满足下述条件的惟一的整数 

m ~ np 其中 一 q <i 8 ^ p . (3. 1) 

虽然量 S 最终可忽略，但在计算中却不可 回避. （在/>=1/2的场合，这麻烦由假设 
72 =加是偶数而避免掉了 .） 

如前节，把二项分布的项重新编号，并写为 


a k = b(m + k\ru p ) 


+ k 


pS 


(3,2) 


为确定起见，考虑々>0,但类似的推理可用于々<0.(对々<0这一区域，只需将> 
与 g 异位即可 .） 类似（2.2)，有 


in — m) in — m 

(/72+ 1)( 


- m 一 是 + 1) 
+ 2) - <m + k)ct 


(3.3) 


此式可重写成下述形式 


(1一贫。）（1_/^1) •••(! — ptk -\ 
a ° (1 + + + 


(3*4) 


此处用了下述简单符号 


下面我们仅对使 G 很小， 
对数的泰勒展式易见： 


= 7+^+g 

J (”+ l)pq ’ 

比如说~<1/2的 々应用 （3_4)式.由第2章 


(3.5) 
(8.9) 关于 


此处略去的量的绝对值小于 


I — Ptj 
1 + % 

因此 


4 


(3.6) 




(3.7) 


此处省略号表示这样一个量 1 它的绝对值小于以(”河) 2 .易见: 


io + - K 


k(k 一 1) + 是 ( 谷 +g) 

(n+ l)pq 


(3.8) 


1. 对误差项的非常粗略的界，我们用足够了. 
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为了简单起见，我们用 f / (2npq) 代替右边，从而产生一个小于找/(〃抑）的误差, 


如果记 

则误差项 a 满足下述不 等式: 

其次，我们要 证明： 


<^k 


a 0 e— ， /(2 咖)， 



(3.9) 

(3. 10) 



n\ 

m\in — m )! 


p m q^ m 





\/2 nnpq 


a id 


此乃类似于对称情况 （2.6) 式的推广.在/>=饥/〃这一理想情况下， (3.11) 是第2 


章 （9.1) 中的斯特林公式的直接推论.直接微分可知 （3.11) 的中间项在 p = 

达到它的最大值.对于给定的 m ， 我们仅考虑满足 （3.1) 式的/>，而且 a 。 的最小值 
在两个端点中的某一个达到，即是 <3。在/ > = m /(«+ l ) 或夕 =( m + l )/(«+ l ) 中的某一 
个达到最小值.对于这些/>值，再一次直接利用斯特林公式， 并把〃 代之以 ” + 1 即 
可得 （3.11). 这就证 明了： （3.11) 对所有的 A 值都成立.如果我们简记 


= (3. 12) 

Vnpq 

则由 （3.9) 可证： 当々与《变化满足条件时，有 

a k 〜 hn ( kh ) (3. 13) 

至此，我们证 明了： 

定理1当 n — oo 且是满足条件0时，则 （3.13) 对是一致成 
立， 1 即是：对每个 e >0 和充分大的 n ， 有： 


1 — €〈 


dk 

hn(kh) 


1 十 e . 


(3, 14) 


例图 7-3 说明 n =10，/>= l /5 的情形，这时 npg =1.6. 当”很小时通近都是惊 
人的好，对于々 = 0,…，6,概率分别为 0.1074,0.2684 ，(X 3020,0,2013, 
0. 0880,0.0264,0.0055,而 (3.13) 得到的相应的逼近值分 别为： 0. 0904,0. 2307, 
0.3154,0.2307,0.0904,0. 0189 ，0.0021. ► 


定理1的主要应用在于获得下述形式的概率的 逼近： 

P{a< S„ < = Y^b 、 vin ， p ) 二 

v~a ^ 

在定理1能应用的范围内，用姑 （ M ) 代替〜 时，我们得到了一个很好的逼近•这 
个量可以解释为： 高为 n (kh) 的底为“中心在祕且长为 & 的”区间所构成的矩形 
的面积 （参 见图 7-3). 按常规，我们代矩形之面积以对应的介于^轴和 n 的图形之 


1. 当 A 与 n 的变化满足 々 W — oo 时，正态逼近将代之以另一种形式的极限定理.（参见本章习题 13, 


S 心. (3*15) 
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间的面积. 熟知： 当 A — 0时，此两种面积之误差在极限情况下是可以忽略的.当 0 
和#都是整数时，有逼 近式： 

P{or ^ S„ ^ /?} 〜沉 ( (a — m + + )A)— 97( (/3— m — 士 ) A). (3. 16) 



图 7-3 二项分布的正态逼近，其中的阶梯函数表示具有 p = l /5 的10次伯努利试验中 々次 
成功的概率 6 a ;10， l /5). 而那条连续曲线则表示对于每个整数所对应的正态逼近. 


当 A 不太小而又希望得到最大的精确度，建议用此逼近式.然而，最后这一公 
式的右边的变量最好代之以 ia - np ) /i 和 z 2 = ( j 3- np ) h , 由此而产生的误差 
当 A — 0时趋于 0. 因此我们得到了下面的基本定理. 

定理2 (棣莫弗-拉普拉斯）对 1 固定的々和々，当 n — oo 时，有： 

P{np ~\~ Z \ \/ npq S „ np z 2 npq }— 沉（ 2 ： 2 ) — ). (3. 17) 

此定理除了其理论意义外，用其右边来作左边之逼近在实践中是有用的.由 
(3.10) 很容易得出其良好的误差估计，但我们在此不详加讨 论了. 下一节给出一些 
实例. 

如果把 s „ 代之以下式定义的 s ) :， 

(3. 18) 

Vnpq 


1. 显然，由定理1，此处的条件还可减弱 • 参看第6章和本章习题14和 16. 
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则关系式 (3.17) 变得更漂亮了 • 此量代表了以为单位时 S , 与;之偏差.如 
用随机变量的术语来说（见第9章），称分别为 S „ 的期望与方差（平方根 

称为标准差). (3.17) 左方的不等式即是因此，我们可以把 
(3.17) 重新 写为： 

P { z , < S ； < z 2 } —沉 U 2 ) -況 u ). (3. 19) 

在多数场合，我们宁愿用这种形式的极根定理.特别地，当〃很大时，左边的概率 
实质上不依赖于 A 这使我们可以参考标准单位去比较各种不同的伯努利试验序列的 
起伏. 

关于任意停止的附注. 

必须注意：我们的极限定理和逼近定理只有当试验次数《不依赖试验的结果而事先固定 
时才是对的.如果一个赌徒有权在对他有利的时刻停止赌博，则他的最终的羸得不能由正态 
逼近来判断，因为这时赌博的持续时间是随机的.对于每一个固定的《来说， S〗 很大的可能 
性很小.然而，在一个长的连贯中，甚至不太可能的事件也可能发生，而且我们将要 看到： 

在一场持续的赌博中，在实际上确有一序列极大值，其阶为 (2 log log (这就是第 8. 5 
节的迭对数法则). 

7.4 例 子 

( a ) 令 p = +， n =200. 考虑 P {95< S „<105} ，这是把一个硬币扔200次岀现正 

面的次数与100之偏差不超过5的概率 • 此处/^ = 1//沉 =0. U 1 4 21 …，它相对而言 

大了一些. 因而在关于区间的极限当中要注意.应用 （3.16) 式可得逼 近式： 

P {95^ S rt ^105}^9?(5. 5 A ) — 9^( — 5. 5 h ) = 23^(0. 7778…）一1 = 0. 56331. 

此概率的真实值为 0. 56325-. 这个很小的误差在很大程度上取决于分布的对 
称性. 

( b ) 令/ ?= l /10， w =500. 此处 / i = l / 14907 …. 仿上例，有 
P {50< S „<55}^(5. 5^)-9?(-0. 5^)=9?(5. 5/ i )+9 K 0. 5/0 —1 = 0. 3235 …它相对于 

正确值 0. 3176 …而言，其误差大约是 2%. 

( c ) S „ 落在以 n />±2 为两端点的区间的概率大约是況 （2) —沉（_2)= 

0.9545,而落在士3 为两端点的区间的概率大约为 0.9973. 随机起伏落在如 

此狭小的区间使人惊奇.例如，扔10 6 次硬币，正面出现的次数与均值500 000之差 
大于1000的概率小于 0. 0455. 

( d ) 令 ? z =100， p =0. 3. 表 7-2 用一个典型的例子（对相对小的 《) 说明： 当区间 

( a , 炉远离中心项时，正态逼近如何变坏. 

( e ) 让我们找一个数 a ， 使得当 n 大时不等式 | S „* | 的概率接近 1/2. 为此， 

必须保证. 


7.4 例 子 143 


3R (<2) - 9^ ( 一 a) = + 

即是贝 U )=3/4. 由正态分布 表知： a =0. 6745,因此下面两个不等式有相同的 概率: 

| S n ip I < 0.6745 和 I — 矽 I > 0.6745 (4.1) 

特别地，扔 《 次硬币，正面出现的次数落在以 + n ±0. 337 ▲ 为两端点的区间的概率 
近似地为+，类似地， 掷”次 骰子，幺点出现的次数落在以士 0.251 ▲为 两端点 
的区间的概率也近似地为 


表 7-2 对/1 = 100, p =0. 3的二项分布与正态逼近的比较表 


成功次数 

概 率 

正态逼近 

相对误差 

9<S„<11 

o. ooo oo6 

0, 000 03 

+400 

12<S.<14 

0, ⑻ 0 15 

0, 000 33 

+ 100 

15<S„<17 

0, 002 01 

0. 002 83 

+ 40 

18<S„<20 

0, 014 30 

0, 015 99 

+ 12 

21<5^23 

0.059 07 

0. 058 95 

0 

24<S„<26 

0. 148 87 

0. 144 47 

— 3 

27<S,<29 

0. 237 94 

0. 234 05 

-2 

31<S„<33 

0. 230 13 

0. 234 05 

+2 

34<S„<36 

0. 140 86 

0. 144 47 

+ 3 

37^S n ^39 

0, 058 89 

0. 058 95 

0 

40<S n <42 

0.017 02 

0.015 99 

_6 

43<S rt <45 

0. 003 43 

0_ 002 83 

—18 

46<S n <48 

0, 000 49 

0_ 000 33 

— 33 

49<S„<51 

0. 000 05 

0. 000 03 

— 40 


( f ) 一个竞争问题，这是说明公式 (3. 17) 的实际应用的一个例子，在芝加哥与 
洛杉矶之间有两条竞争的铁路，它们的火车悬同时开出同时到达并且具有同样的设 
备. 假定 〃个旅 客乘坐哪一条铁路的火车的选择是互相独立的而且又是任意的，于 
是每列火车的乘客数目可视为以概率 p = l /2 的”次伯努利试验的结果.如杲一列火 
车设置个座位，那么， 旦 有多于 5 个旅客要来乘车，就容纳不下了，令这个 
事件的发生概率为/ G )， 且/ G ) >0,应用渐近公式 <3.17) 就有 

/ g ) 〜 1- 沉(〜 

如果 S 很大，使/(5)<0. 01，那么在100次中有99次是有足够的座 位的. 一般说来， 
公司可以任意规定一个风险水平 a 并这样来决定 5 使/ G ) < a . 为此，只要令 

5 ^ t a ^/ n ) , (4.3) 

乙 

其中4是方程 a = l —肌 U 的根，可在表中查得 • 例如若 n = 1000， a =0.01， 则~〜 
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2.33,而 s =537 个座位就足够了.如果两条铁路都规定风险水平为 a =0. 01，则两列 
火车所有的座位的总数为1074,其中有74个空座位.可见由于竞争（或者随机起 
伏）而带来的损失是很小的.用同样的方法可算出，若有514个座位则在80%的情 
况下是足 够的； 而若有549个座位，则在999/1000的情况下是足够的. 

类似的考虑可以应用到其他的有竞争的供应问题上去，例如对 n 位顾客有 m 个 
电影院来竞争，于是每个电影院成功的概率是而 （4.3) 应该用 

ln + t a Vn (w — 1)] 来 代替. 这时空座位的总数约为 — Vn ( m —1). 当 a = 
0.01，《=1000， m =2,3,4,5 时，空座位的数目大约分别是74，105，126, 147. 由于竞 

争而带来的使用率的损失是非常小的. 

( g ) 随机数字. 在第 2.3 节例 （b) 中，曾经考虑具有 p =0. 302 4 的事件，在”= 
1200次试验中，这个事件的平均频率为0.3142，它与 A 的离差为 e ==0.0118 .在 

这里， 

f{ >e} =F{ \ S n — np\>ri€} 

^ P { \ S ^ — npl ^ O . 880 \/? i (0. 88))^0* 379* 

这意 味着： 成功的平均数与 P 之偏差大于 e 大约占总情况的38%. 

( h ) 抽样.在一群居民中，吸烟的人的比例是一个未知数/>，想用有放回抽样来 
决定 A 且要求 找出的的误差不超过 0.005. 样本大小 n 究竟要多大？ 

假定样本中抽烟的比例是 〆 • 显然，无论样本多大，总不能绝对保证 
0.005,因为，由随机性，样本中人人都吸烟也是可 能的. 我们所能做的最好的是： 
给予一个误差超过给定的界限 0.005 的可能性很小的准则.为此，我们取一个“置 
信水平”心比方说 a =0.95. 取《如此之大，使事件 |〆 一 p |<0.005 的概率大于等 

于 a . 由于 m 〆 为71次试验成功的次数，所以 

P{ I p ' -P |< 0.005} = P {| s„ — np |<0,005 w }， （4.4) 

我们希望找岀的”是如此之大，足以保证上述概率大于等于査表，首先找出 A 满 
足饥 U a ) —贝 （一&)=«• 用正态逼近，需如此之大以 满足： 

0. 0Q5Vn ^ ^ , 0P „ ^ 40 OOOpqzl . 

ypq 

上述不等式含有未知概率/>，但是无论在何种情况总有1/4，所以，只要 

10 0004 就行. 

对于置信水平95，我们发现 a = L 960， 因而，样本大小 w =40 000就足够 
了.这样大的样本是浪费了一点，但是 I // — W <0.005 也要求太苛刻了.如果只要 
求 I〆 一/>1<0. 01，那么样本大小《=10 000就够了（在同样的置信水平下).对所谓 
的4个百分点的精确度，在丨 〆 _ pl <0.0 45 的要求下，样本大小为 W 5 就行 • 从平 
均的意义上看，只有5%的随机样本，它们估计的结果的误差大于事先给定的误差 
限.（实际上，困难通常 在于： 获取一个任意大小的但有代表性的样本 •） 
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7.5 与泊松逼近的关系 

当《舛相当大时，正态逼近的误差很小.另一方面，当 n 大而小时，则 6 (/h 
n ，/>) 将接近于；1=〃/>的泊松概率如果 A 很小，那就只能用泊松逼近了.然 
而当 A 较大时，则正态逼近与泊松逼近都可以应用.由此可知，对 A 较大的值，就可 
能用正态分布逼近泊松分布，且在第 10.1 节例 （ c ) 中我们将看到确实如此（也可参 
见本章习题 9). 但在这里，我们只用一个数值的例子和一个实际的例子来说明这 
—■点. 

例 （ a ) 具有 A = 100 的泊松分布在整数集 a ，<2 +l ， …，6上的概率为 

PU ， b ) = ^( a ；100 )+/)(a + l ；100 )H - h ^(6；100). 

此泊松分布可以作为具有 n = 100 000⑻0和/? = 10— 6 的二项分布的逼近，则 npq ^ 
100 ，故正态分布不能拿来逼近此二项分布，但至少在中心项100 的逼近尚可.但是 
这意味着 _ P ( a ，6) 可用 

^((6-99.5) / 10)-9^(( a -100. 5) / 10) 

来近似.下面几个数字给出逼近程度的轮廓 • 



正确的值 

正态逼近 

P (85,90) 

0, 113 84 

0. 110 49 

P (90,95) 

0. 184 85 

0. 179 50 

P (95,105) 

0.417 63 

0.417 68 

P (90,110) 

0. 706 52 

0, 706 28 

pciioais ) 

0. 107 38 

0. 110 49 

P (115,120) 

0. 053 23 

0. 053 35 


( b ) 电话占线问题. 下面的问题是从实践中经过一些简化以后提出来的 1 . 一个电 
话交换台 A 为靠近于交换台 B 的2000个用户服务，如果从 A 到 B 安装2000条线路， 
那就太贵太浪费了.我们只要安装的线路的数目 N 是如此之大，使得在通常情形下， 
100次呼唤至多只有1次不能立刻接通.假定在一天最忙的时间里每个用户打到 B 区 
去的电话在一小时内平均占线两分钟.不妨把最忙碌的时间里的一个固定时刻的情 
况比拟为 p 二1/30的2000次试验，其中/>=1/30表示每户用线的 概率. 在通常的情 
况下，这些试验可视为相互独立的.（这并不总是正确的.如果由于意外的大雨或地 
震，很多人都要叫出租汽车或本地报馆的电话，线路就会发生“拥挤”，那时，独立 
性的理论就不能用了 .） 因而就得到了具有概率 P = l /30 的2000次伯努利试验，求 
满足 下面的条件的最小的设置线路数目 N ， 使得“成功”的次数（即占线的数目） 
超过 iV 的概率小于 0. 01，用记号表 示：尸 { S 2000 > N } <0. 01. 


1.参见 [48]. 在该书中此问题是用泊松方法来处理的，工程师总是喜欢用泊松方法. 
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对泊 松逼近 来说，取 A '= 2000/30〜 66. 67. 査表可得，成功次数大于等于87的 
概率约为0.0097,然而成功次数大于等于86的概率约为 0.013. 由此可见安装87条 
线路就足够了 .对 正态逼 近来说我们首先要找出方程1_況 ( x ) =0.01 的根: c ， 由查 

表可得 1=2.327. 于是我们 要求： (^/—音_吵)/(”何)"^2.327.由于 n = 2000, 

/>=1/30,所以 N >67. 17+ (2. 327) (8. 027) =^85. 8. 因此，使用正态逼近法的结 
果是： 只需安装86条 线路足够了. 

这两个解答可以说是一致的.这种方法还可以给出另外一些有用处的结果.可 
以这样 设想： 把2000个用户分成两组，每组各1000户，从 A 到 B 的线路也与之对 
应地分成两组来安装.用上述方法算一算结果还要多置10条线路，因此第一种安装 
法还是更好一些. ► 


*7.6 大偏差 1 2 

I 

棣莫弗-拉普拉斯定理刻画了：对固定的 A 和 A，P { zi < S ；<^ 2 } 的渐近性 

质. 但从其推导过程中清楚地看出：当 々和 々随《的变化而变化时，只要〜的 
增长速度充分地慢，此定理仍然 成立. 在这种情况下， (3.17) 两边都趋于0，而只 
有当两边之比趋于1才意义深远.下一个定理将说明在何种条件下，这个结果是对 
的.为简化表述，代双重不等式<々以不等式 S :〉 〜 下述引理将要讨论这 
一 问题，此引理证明当^时上界々不起 作用. 


引理当： r „— co 时，对任一固定的？/>0，有 2 



P { S : > + 7?} ^ 0 

P { S ： >xj ’ 

(6.1) 

即是 




P { x n <i S * < a + 々 } 〜 P { S : jo n }. 

(6-2) 

换言之，当 S „ # 超过:: 

r„ 时，它非常靠近 A 而在极限中更大的值不起作用- 



证对二项分布，应用 （3.2) 中的记号可得 


P{S* x n ] = a r ^ v - P{S* + （ 6.3) 

产 0 v=0 

此处和都是整数，而且它们分别与 A Vnpq ^\ ix „- hrj ) ^ ?2户<?之差最多不超过 1. 
因为由 （ 3.4) 知，对充分大的^显然有 

^± 1〈1 — pt k 〈l — — <C e — ^ ? (6-4) 

au n 


故 


1. 本节中的定理具有多方面的意义，然而在本书中只有在第 7. 4节和第 8. 5节中才用到它 • 

2. 在证明中可看出，只要 — ^就足够了 * 更强且更有趣的版本，请见本章习题18 - 



+v 


< e 


— r.) 


’ 打〈 e— 了沪、内 


(6*5) 


由于 A—co, 所以 （6.3) 中第二个级数的每一项与第一个级数的相应的项之比是可 
忽略的. ► 

现在推广到下述形式的极限定理. 


定理如果 oo 满足 — 0，即 

P{S* > JC” } 〜 1 — (JT” ) ， 

由（1.7)，渐近关系 （6.6) 完全等 价于： 

P{S： 〉 x”} 〜I •丄 e - 如' 

证由前面的引理及定理 3. 1 有： 


( 6 . 6 ) 

(6.7) 


P{S： >及}〜 J^hn(kh). (6,8) 

此处〜是满足 | r n h — x n | <h 的整数 • 右边的和落在 1 — 況(心一2/0与 1 —3 f ?( jr „ + 
從)之间.用（1.7)，此二数之差 

9^ (x rt 十 2A) - 沉（工《 — 2h) <C 4/iU(x« — 2/0—0 ， （ 6, 9) 

从而 （6.8) 中之和相当于 1— 贝 U „). 证毕， ► 

进一步的推广可看习题14和 16. 



2. 

3. 

4 . 

5 . 

6. 

7 . 


推广 （1.7) 证明： 

1 —D 〜 




+ (— 1 ) 


k 1 • 3*"(2々 


(7.1) 


且当 x>0 时，若灸为偶数则 （7.1) 之右边高估了 1 一災 U); 若为奇数则 （7.1) 右边低 


估了 1 — 

对于每个常数^>0,当 JT— ⑺时 

(1-沉（: T + 含） }/{l-^(x)} ^ e-^ (7,2) 

求出10 000个随机数字中，数字7出现的次数不多于968次的概率. 

把一颗骰子，连续掷12 000次，求出现“么点”的次数在1900与2150之间的概率的近似值 * 
求一个数々，使得扔1000次硬币出现“正面”的次数在440与々之间的概率约为0.5_ 
为了求出女性居民在居民中所占的比数/，进行抽样调查，问样本要取多大方能使抽样误 
差小于 0. 005的概率大于等于 0. 99? 

一个硬币扔了 10 000次，出现 54 00次“正面”我们是否能够断言这个硬币不均匀呢？ 
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8. 求三项分布 


_ n \ _ 

k \ r\{n — k 一 r ) ! 


p k ip r 2 (l-pi-p2^ r 


中最大项的近似值. 


9. 泊松分布的正态逼近.利用斯特林公式 证明： 如果 A 4 oo , 则对于任意固定的 

〉 : 9Kj3) — ?Ka). (7_3) 

A-ha 

10, 超几何分布的正态逼近.令为正整数且假定 




— ► 



q ， h{k — rp ) 


—► x 


(7.4) 


其中 l // i =/( rt + m ) /?饵 (1 —?). 试证: 



(7.5) 


提示： 用二项分布的正态逼近比用斯特林公式好. 

11. 正态分布及组合连贯\在第2章 （11.19) 中我们看到， 在”个 a 与; / z 个/?的排列中，恰 


有 々个 a 连贯的概率为 


(； zi )( m v ) in m 


(7.6) 


♦ n — oo— oa ， 并设 （7.4) 成立 * 对于固定的 a </?， a 连贯的个数落在《<?+的 Vpn 

与 nq +两 之间的概率趋于沉(炉一沉 ( a )_ 

12. 大数定律的一个新 证明.从棣莫弗-拉普拉斯定理证明第 6. 4节中的大数定律. 


大偏差的极限定理 

13 . 应用第3节中的记号， 证明： 若々随”之变化而变化且满足则 

ak = 6 ( 是 + 〜 hxi(kh) • e _Cj ^ gU h 6 ^ h — - ^ • C7_ 7) 

V npq 

这是定理 3. 1 的推广. 

14 . 应用上面诸习题和第6节的引理 证明： 

定理若 A — 且满足 — 0，则 

P { S ； > x „} 〜 [1- 沉 U „)] e - (")々 (y ^). (7.8) 

15 . 推广习题13.令 

/(-) = s （ 7 . 9) 

3 

此处， h =\ U ^ M . 若々随之变化而变化且满足— 则 

a k 〜 hn ( kh ) • e — /( （7.10) 

[当 W — 0,此化为定理 3.1; 当々 4 /« 3 —0我们得到 （7.7); 当々 5 /« 4 —0,我们得 

到 （7.7) 中的指数再加一个4阶的项，等等 _] 


1. 参见[49]，如果想知道更一般的结论，可参见 [50]. 



16. 习题 14 的推广.若心随 n 之变化而变化且满足：⑵，但是0，则 

P{S ： >xj - [l-^(xj]e^\ (7.11) 

当 Z/n — 0时，它化为 （7.8). 当 d / rfl — 0时，我们可以用（7_9)式右边出现的级数 
的4阶多项式来代替/ ( xj ). 等等. 

17. 若 p > q ， 则 P {Sn > jr } >P {S* < i — x } 对一切大的: r 成立.提示：用习题 15. 

18* 若 a — 00 且； A /^ — 0，证明： 

P{x n <Z Sn 〈 十 a/L } 〜 （1 — e — a )户{5: Z > x n ). (7* 12) 

若用语言表示即：事件 { S ；^ x ,+ a / xJ 关于的条件概率趋于(此定理 
的一个较弱的版本是由辛钦 Khintchine ) 证明的 .） 



# 第8 章伯努利试验的无穷序列 

本章所讨论的是关于伯努利试验的随机性的某些性质，及与之相关的重要的迭 
对数法则.伯努利试验的起伏理论（至少对 ^ = 1/2) 的一个不同的方面已包含在第 
3章中. 


8. 1试验的无穷序列 

在前一章中我们已经详细地讨论了关于; Z 次伯努利试验的概率，同时也研究了 
当《 4 00时，它们的渐近性质.现在我们转而研究一类更为一般的问题，其中事件 
本身在有限的样本空间中并不能定义. 

例 一 个连贯问题. 令为两个正整数，我们考虑 一个潜 在的伯努利试验的无 
穷序列，譬如扔一个硬币或者掷一颗骰子.设想甲与乙打这样一 个赌： 如果接连成 
功 a 次的连贯发生在接连失败^次的连贯之前，就算甲贏.“甲贏”这个事件的概率， 
它的直观意义是很清楚的，但是要记仵，在数学理论中事件这个术语是代表“样本 
点的集合”的，它只有在适当地定义了样本空间之后才有意义.为此，伯努利试验 
的有限次（设 〃次） 模型对我们现在的情形来说就不够了.但这个问题只需用简单 
的取极限的办法就可以解决.在 w 次试验以后，甲或者获胜或者失败，或者不分胜 
负.令对应的概率分别为 ■3：„，： y n ，2^( x „+： y „+2：„ : = l ). 当试验的次数”增加时，不分胜 
负的概率2；„只能下降，而 A 及—定 上升. 因此 J ： = lim A ， \ irny „, z = lims: w 

一定存在.所以可把 XJd 作为甲最后获胜、失败或胜负不分的概率、然而，对应 
的三个事件只能定义在试验的无穷序列所成的样本空间中，而且这个空间并不是离 
散的. 

引进这个例子仅仅为了说明问题，至于的数值究竟是多少不是我们当前所关心 
的.在第 13. 8节例 （ b ) 中可以计算它们.然而有一个比较简单的方法可以算出极限 I ，： y，u 
这个方法在更一般的场合也可以应用.由于这个方法重要，而且很有意思，我们现在就来讲 
~ ■讲 • 

令 A 表示接 连成功《次的连贯发生在接连失敗次的连贯以前 这一事件_于是 A 意味着 
甲获胜，而^=戶 { A }. 令分别表示在“第一次试验之结果为成功”或 “ 失败”的条件下 
事件 A 的条件 概率. 于是:仰[第5章 （1,8)]. 首先设第一次试验的结果为成功•于 
是事件 A 可以有下面 a 种互不相容的方式发生，分为两类来描述： （1) 紧接在后面的 a — 1次 


^标有星号的这一章与以后各题材无直接联系，初读时可以略去. 




试验的结果都是成功，其对应的概率为 ff ~\ (2) 第一次失败发生在第 z ； 次试验，其中 
2« a _ 令这一事件为托.于是尸{氏}=/^ 2 心而因此（再度应用复合概率 
公式） 

u = pr 1 + qu { l -\- p -\ - \- pT 2 ) = p ^ 1 + v(l — p ^ 1 ). (1. 1) 

在第一次试验的结果为失败的情形下，用类似的讨论可以得到 



的概率是 0.7; 出现两次“正面”的连贯在出现4次“反面”的连贯之前的概率是5/6;出现 
3次“正面”的连贯在出现4次“反面”的连贯之前的概率为 15/22. 在掷骰子时，出现两次 


幺点的连贯在出现5次非么点连贯之前的概率是0.1753,等等. ► 

在这一卷书里我们只限于讨论离散的样本空间的理论，这就大大地破坏了数学 
理论的完美性.在一般理论中，把《次伯努利试验仅仅作为一个无穷试验序列起始 
的一部分来考虑.因而一个样本点是由字母 S (成功）和 F (失败）组成的一个无穷 
序列来代表，而样本空间就是所有这样的序列的总体.一个有限序列譬如说 SSFS ， 
它表示最初四次试验分别为 S ， S ， F ， S 的那些样本点的总体.在无穷的样本空间里， 
上面关于赌博的那个例子不需要用极限过程就能说明了.任取一点，也就是一个序 
列 SSFSFF .... 在它里面，由接连《个3所构成的连贯可以出现，也可以不出现，如 


果出现的话，那么在这以前，也可以出现过“接连个 F 所构成的连贯”，也可以没 
有.这样一来，所有的样本点可以分为三类，分别表示事件：“甲获胜”、“甲失败”、 
“不分胜负”，它们的概率就是上面算出来的在这个样本空间中惟一令人苦恼 
的是： 它不是离散的样本空间，而我们对一般样本空间的概率又没有定义. 

请注意，我们所讨论的其实并不是真困难，而是一个术语的问题.拿我们的例 
子来说，问题不在于数■的定义下得适当不适当，及对它的解释给的正确不正确， 
问题仅仅在于，为了避免自相矛盾，我们要么把 x 说成是“在 n 次试验中甲贏的概 
率 A 的极限”，要么把它说成是“甲赢”的概率，而样本空间不是离散的.我们打算 
两种办法都用.为了语言的简短，我们使用事件这一术语，即使它们是定义在无穷 
的样本空间中.为了理论的精确，叙述定理时要先用有限的样本空间，然后过渡到 
极限.这一章里所研究的事件都具有上述例子的如下的 特色： “甲获胜”这一事件虽 
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然是定义在无穷的样本空间中的，但它可表为“甲在第〃次试验获胜” （ w = l , 2,…） 
的那些事件的并，它们中的每一个只依赖于有限次试验.我们所要求的: r 是单调序 
列 A 的极限，这些概率只依赖于有限次试验.我们并不需要比 n 次伯努利试验模 
型的理论更高的 理论； 我们只不过简化了累赘的表达\把本来是“概率的极限”的 
一些数字叫作概率. 

8.2 赌博的长策 

很多赌徒的惨痛经历使我们得到这样一个教训：没有一种赌博长策能成功地改 
善赌徒的机遇.如果概率论正确反映生活的话，这个经验就应该对应于一个可以证 
明的命题. 

为了确定起见，让我们考虑一个潜在的伯努利试验的无穷序列，而且假定在每 
一次试验中赌徒都有选择赌或者不赌的自由.所谓赌博的“长策”，就是赌徒事先制 
定的一套规则，来决定哪一次该赌.例如，赌徒可以决定在每个第7次上赌，或者 
在赌一次之后，再出现7次“正面”之后的那一次赌.他也可以只在“正面”连续出 
现13次以后 才赌； 或者在第一次“正面”出现以后赌第一次，然后在头一回连续出 
现两次“正面”以后赌第二次， 一 般地，在连续出现々次“正面”以后就赌第 々次. 
在最后一种情况，他赌的频次将是越来越少的.我们并不需要考虑个别试验的赌注， 
我们将要证明没有一个“长策”可以改变赌徒的处境，他们所得到的结果和每次都 
赌是一样的.不言而喻，只能在通常意义下的“长策”，即在赌徒不知未来的情况下 
才能证明这个命题.（至于真正的未卜先知存在与否的问题并不是我们所关心的 •） 同 
时，像“输了 3次以后便回家”这类规则是可能改变赌徒的处境的，不过这些没意 
思的长策我们把它除外. 

长策的定义是一套规则，这套规则，在每一轮赌博中，惟一地决定赌徒是参加 
赌还是不参加赌.在第 々次试 验上，他的决策可以依赖于以前的 6—1 次试验的结果， 
但是不可以依赖于第 A 4+1，々+ 2,…次试验结果.最后，这些规则还要求能够 保证： 
赌博可以无穷地继续下去.因为规则是固定的，所以“在 n 次试验中赌徒参加赌的 
次数超过 r 次”的事件是有定义的，而它的概率是可以计算出 来的. 上面定义里的最 
后的条件要求对任何一个 r ， 当《 — ^时这个概率趋于 1. 

我们的基本定 理是： 无论长策是什么，赌徒参加赌博的那些次试验组成一个伯 
努利试验序列其成功概率不变.如果在措词方面做适当的修改，这个定理对一切类 
型的独立试验都成立，在任何情况下，进行赌博的那些次试验都是原来试验的一模 

1. 如果读者对一般测度论较熟悉的话，那么这个情形可以描述如下.我们仅仅考虑这样一些事件，或 
者它只依赖于有限次试验，或者它只是这类事件的单调序列的 极限. 我们计算这些明显的概率的极 
限，显然这并不需要测度论.然而只有在测度论里才能证 明：这 样的极限值不依赖于特殊的取极限 
的过程，而且是完全可加的. 
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一 样的仿制品，所以没有一个长策可以改变赌徒的运气.这个命题的重要性首先由 
冯•米泽斯所发现，他把它作为基本公理而引进，即所谓有效的赌博长策的不可能 
性.这里的陈述及证明都是引用杜布 [51] 的，为了简单起见，我们假定/ >=1/2. 

令表示 “ 第一次赌博发生在第欠试验”这一事件.长策的定义要 求：当 
„ — oo 时，在第 w 次试验以前进行第一次赌博的概率趋于 1. 也就是 
十…十 P { A „} — 1，或 

SP { A ,} = 1. (2. 1) 

其次，令执表示“第纟次试验出正面”的事件.于是“第一次参加赌的那次试验里 
出现正面”的事件 S 是事件…的并，而这些事件是互斥的.因为 
A , 只依赖于最初 A — 1 次试验的结果，玖只依赖于第 々次 试验，所以 A , 及 B * 是相互 
独立的，从而州烏民丨=以八}尸{压} = 1/2户{八山故 P { B }- SP { AA } = 

l /2 EP { A ,}=-~. 这就说明在这个长策下第一次赌博中岀现“正面”的概率为1/2, 

同理，对于以后的各次赌博这个结果也成立. 

还要证明 的是： 要赌的那一串试验是独 立的. 这就意味着在第一、第二两次赌 
博中硬币都出现“正面”的概率为 1 A (以此类推到其他的组合以及此后的试验 )• 
为了验证这个论断，令 A / 表示“第二次赌博在第々次试验”的 事件. 令 E 表示“头 
两次赌博都出现‘正面 ’” 的事件，£：是一切事件 A 声, A 〖民 的并，这里） <々 （如 
是， 则 A ,， A : 互斥，从而 4 A : =0). 因此 

P { E } = 22 P { AjB } A ： B k ) . (2.2) 

j=l 

同样，我们可以看出，对固定的 j •，^ > i ， 事件艮（“第々次试验出现正面”）与事件 
AjBjA ； (它仅依赖于最初6 — 1次试验的结果）是相互独立的.因此 

P { E ) = i 2 SP { A , B ; A ；} 

Z k=^j+\ (2. 3) 

= ^^2p{A j B j }^P{A ： i A,B } ) 

乙 j-i k=rti 

[参见第 5 章 （1.8)]. 但是，不管第一次赌是在哪次下注的，也不管它的结果如何， 
赌博总是继续下去的.这就 是说： 第二次赌博迟早会发生的，即对于已知具有 

“第二次赌博在第 A 次试验发生”的条件概率对&加起来应 
为 1. 所以 （2.3) 中的第二个级数之和为1，同时我们早已知道 = 故 
P { E } = 1/ A . 这就是我们所要证明的.对其他的组合可用类似的 论证. ► 

注意： 如果赌者可以任意改变赌注的话，情况就不一 样了. 对于依赖累积贏得 
的长策，就存在所谓有利策略，而且赌博与策略有关.关于这一点，我们将在第 
14. 2节里再来讨论. 
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8.3 波雷尔-坎特立引理 

有两个关于试验的无穷序列的引理是经常要用到的，所以应该特别加以注意.我 
们仅仅对伯努利试验来陈述这两个引理，但是，对于普遍的情况，它们还是可以应 
用的. 

我们还是考虑一个无穷的伯努利试验序列•令 A , a 2 ，…表示事件的无穷序列， 
其中每一事件只依赖于有限次试验.换言之，我们假定对于每一个 A *， 对应地存在 

—个使得 A 是在最 初的〜 次伯努利试验的样本空间中的事件.令 

a k — P { A k (3, 1) 

(例如，耒代表“在欠试验完了时出现一个最少接连々次成功的连贯”的事件， 

则叫= 2是，而叫= 〆 . ） 

对于字母 S 和 F 的某个特定的无穷序列，都可以确定它属于 { AJ 中的0个或1 
个或2个……或者无穷多个.这意味着我们可以谈到事件 U r ， 它是使事件族 { A *} 中 
有多于 r 个发生的无穷试验序列.而1/«则表示使事件族中有无穷多个发生的无 
穷试验序列.事件只能在无穷的样本空间中定义，而它的概率是的极限， 
此处次试验中有多于/■个 A 发生的 概率. 最后， P { U M } = lim P { U r }, 

此极限是存在的，因为当 r 增加时， POU 下降. 

引理 1 如果收敛，则只有有限个 A * 发生的概率为 1. (更精确地说 ：就是 
要求，当 r 充分大时）， P { U r }<6. 或 者说： 对每个 e >0 可以找到 这样一 个整数 r ， 
使得对每个次试验中，儿，…里的一个或多个发生的概率小于 €• 

证由于级数2七收敛，故我们可以取定一个〜使^…不失其 
普遍性，我们可以假 设烏是 如此排列的，使得 令 N 为使 n N <n 成 
立的最后一个下标.于是 ，…， 八〃都在”次试验的样本空间中定义了.而引理的结 
论是 要求： 在 A ^， A ^ 2 , …， An 中有一个或多个发生的概率小于&这个结论是成 
立的，因为从第1章的不等式 (7. 6) 我们有 

P{A rl i U A 汁 2 U … U Ajv} ^ ^H -1 +an_ 2 + …+ a N ^ e. (3. 2) 

至此，引理证毕. ► 

上述引理，只有在相互独立的条件下，才有一个圆满的逆命题.当试验串分 
为一些互不重迭的段落，而只依赖于第 A 个段落中的试验时，独立性条件就成立 
了.（例 如：恚表示 “第 A 个千次试验中产生的成功次数多于600” 的事件 .） 

引理2如果 A * 相互独立，而且2心发散，则有无穷个 A * 发生的概率为 1. 
(换言之，对任意一个 r ， 在《次试验中多于 r 个发生的概率随” — 00 而趋于 1). 
证 假设引理不对，则存在一个《，使：当^时没有一个 八发生 的概率《>0. 

但是 

(1)(1— a^i )*•*(! + r ), (3.3) 
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(3.3) 成立是由于其右边是在当时，， A „ +1 ，…， A „ +r 中无一发生的概 
率.因为%所以 （3.3) 右边小于等于，而其指数当 r 充分大时 
可任意大，故《=0.引理得证. ► 

例 （ a ) 在一个伯努利试验序列中，序列 SFS 出现无穷多次的概率是多少？令总 
表示在第 k , k + l,k + 2 次出现花样 SFS . A , 显然不是独立的，但是序列 A l ， A 4 ， A 7 , 
八 。，…只包含相互独立的事件.（因为其中任意两个事件都不依赖于同一次试验的结 
果 .） 由于 a fe = p 2 <? 是不依赖于 々的， 故级数 a ! 十<2 4 + a 7 十…发散，从而序列 SFS 无 
穷次地发生的概率为 1. 显然，类似的论证可以应用到任何一个序列上去 • 

( b ) 扔硬币产生的书.考虑一条由点和横线写在电码上的 信息： “概率是奇妙 
的”.如果我们用 H 和 T 分别代表点和横线，那么，这条信息将以有限长的相继出现 
的正面与反面构成.由上面 一 个例子推知：多次扔一个硬币，迟早会生成这一信息， 
并能无穷多次重复这一信息.同样地，取很多次扔硬币的游戏中的一段有限长的记 
录，它可以包含电码中的一部长度可观的书，例如“汉姆雷特” 1 和8位对数表.有人 
提议把一群猴子训练成乱击的打字员，它们迟早会随机地打印出一部伟大的作品. 
为了同样的目的， 一 个硬币可以节省喂养和训练费用，并放任猴子而做其他的猴子 
营生. 


8.4 强大数定律 

概率的直观概念是基于下述事实的成立的期 望：若 是伯努利试验序列中前 n 
次试验的成功次数，则 

^ — p . (4.1) 

n 

在抽象理论中，这不能对于每一个试验序列都成立.事实上，在我们的样本空间中 
包含着这样一 个点： 它是只由成功构成的无穷序列.对它 来说： 因此, 
(4. D 就不对了.然而，我们可以证明 （4.1) 概率为1地成立，于是 ai ) 不成立 

的情形是可以忽略的例外. 

注意： 在这里我们所讨论的命题要比弱大数定律[第6章 (4.1)] 强得多.后者 
只是说，对每个充分大的固定的《来说，平均数氏/«与 p 差不多，但它并没说当《 
增加时，—直停留在 > 的固定的邻域内.在《次附加的试验中，事件 
p 一 e ， 中至少有 一 •件发生仍是可能的，因为它是很多个小概率之和，而我 
们只知道每个个别的概率很小而已.但现在我们可以 证明： S „/ rr - p 概率为1变得很 
小， 并且保持 很小. 

强大数定律 对于每个 € >0,在事件 


1. 此乃莎士比亚一部悲剧的剧名. 


译者注 



156 第 8 章伯努利试验的无穷序列 




P 


>€ 


(4.2) 


中，只有有限个发生的概率为 1. 这个结论蕴涵了 “（4.1) 概率为1地成立 ”• 在有限 
的样本空间中，它断言：对 每一组 e >0， 8>0, 有一个使得对一切 w 适合下面^ 
个不等式： 


S 


n\~k 


r~\~k 


P 


〈€ 


1,2 ，…， T ；， 


同时成立的概率大于1 一 次 


证我们将证明一个更强的命题.令 A , 表示事件 


S : 


S k —kp 

Vkpq 



a log k i a 〉 l . 


于是由第 7 章公式 （6.7)， 至少对所有充分大的是 


(4.3) 


(4,4) 


P{A k )<^ k = 


(4.5) 


从而 EP ( Ad 收敛，因此由前一节的引理1可以 保证： 只有有限个 （ 4 .4) 型的不等 
式成立的概率为 1. 另一方面，若 （4.2) 成立，贝0 


S n — np 
vnpq 



(4, 6) 


而当 ”充分 大时，右端大于 (72 a log / 2 ). 因此无穷多个 （4.2) 型的不等式成立就 
蕴涵了无穷多个总发生.所以它（无穷多个 （4.2) 成立）的概率为零.这就证明 
了我们的强大数定律. ► 

强大数定律最初为坎特立所陈述，其先波雷尔及豪司多夫 （ Hausdorff ) 讨论了 
一 些特殊情况.正如弱大数定律一样它只是随机变量一般定理中的极为特别的情形. 
把我们的定理与长策之不可能性联系起来.不仅对原来的试验序列而且对于按照第2 
节中的规则所得到的一切子序列来说，大数定律都蕴涵了极限 （4.1) 的存在性.因 
而这两个定理一起描述了随机性的基本性质，这些性质都是概率的直观概念所固有 
的，它们的重要性曾由冯•米泽斯特别加以强调过. 


8.5 迭对数法则 

像第7章一样，让我们再引进〃次试验中正则化的成功 次数： 

s ; = (5 .D 

Vnpq 

拉普拉斯极限定理 断言： P { S ：> x }- l - nU ). 因此对于 n 的每一个特定的值来说， 
s > :取大值的概率是不大的.但是，直观上看来很 清楚： 在漫长的试验序列中， S : 
或迟或早地会取任意大的值 . 5〗的中间值是最概然的，但是它的最大值也在慢步地 
增长着.增长的速率如何？在强大数定律的证明过程中，我们曾经断言，从 （4.5) 
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可推出对每一个 a > l 和全部充分大的《，不等式 S „*< (2 a log n ) +概率为1地成立. 
这就给出了 S 起伏的上界，但是这个上界不好.为了看出这点，让我们把这个结论 

应用到子序列 s 2 * , s 4 * , s 8 *， sr 6 ，…上.即我们定义 事件总 为 s 卩彡 （h i og 现在 

因为不等式 （4.5) 蕴涵 S 『*< (2 a log 对 a > l 和一切充分大的 L 但是，对 
n = l k , 我们有 log 々 〜 log log 〜因此我们 断言： 对于每一个 a > l 和全部形如 
的„，不等式 

S * <C V 2 a log log n (5,2) 

对某个々以后全成立.所以合适地猜测，应该是 （5.2) 对一切充分大的《都成立， 

事实上，它是迭对数法则的一部分.这个定理 1 断言： V 2 log log n 是在下述意义下的 
精确的 上界： 对于每一个 a > l ， 不等式 （5.2) 的反不等式对无穷多个 n 成立. 

定理式子 

limsup - = 1. (5.3) 

\/21 og log n 

以概率为1地成立.这意思是说：如果 A 〉 l ， 则事件 

S n > 砂 + A ^ 2 npq log log n (5. 4) 

之中只有有限个发生的概率是 1. 如果 A <1， 则 （5,4) 对于无穷多个”成立的概率 

是 1. 

由于对称性，方程 （5.3) 蕴涵了 

lim inf — = — 1* (5, 3 a ) 

”一 w V 2 log log n 

证 我们先从以下两个预备性的附注入手. 

(1) 存在这样一个常数 c >0, 它依赖于 f 而不依 赖于〜 使得对一切的 n 都有 

P { S n > np ) > c . (5.5) 

事实上，考察二项分布，得知 （5.5) 的左边永不为零，而且由拉普拉斯极限定理得 
知当 n — co 时它趋于 1/2. 所以它总有大于0之下界.这就证明了我们的附注. 

(2) 我们需要下面的引理.令1固定，且令 A 表示以下 事件： 至少有一个 
k ， k < n ， 使 

S k — kp x . (5. 6) 

那么 

P { A ] ^ c _1 P { S n ~ np ^ x ) , (5. 7) 

为了证明引理，令乂„表示使 （5.6) 在々二^时成立的事件，但々乒1，2,…1， 
(此处的事件./^，、，…，束是互斥的.同时它们的并是 A . 因此有 


1. 参见 [521 此处的结论是由其他一些学者的部分结果得到的.现在的证明可以直接推广到更一般 
的随机 变量. 
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P { A } = P { A ]} + P { A 2 } + … + P<A 丄 (5.8) 

其次对 令 U v 表示 “在第 t ；+ l ， w +2, …，《次试验中成功的总次数超过 
(72 - V) P” 的事件.若两个事件疋 ，(^ 都发生， 则5„>氏+(/7_1；)/ } >吵+ 1，又 

因为是互斥的，所以 

P{S„-~np'>x}^P{A 1 Ui }-\-P{A 2 U 2 } + 〜 

+ P { A „- I a n _ 1 }+ P { A „}. (5.9) 

因为 A v 只依赖于最初那 p 次试验， K 只依赖于其后的 《 — ^次 试验. 因此九， K 是 
相互独立的，从而 PiA ^ LU 二•从 （5.5) 中我们知道， P { UJ > c >0, 
且因 c < l ， 故从（5_8)和 （5.9) 可得 

P{S t -np>x}>cEP{A v }=cP{A}. (5. 10) 

这就证明了 （5.7). 

(3) 现在我们来证明定理中关于 （5.4) 式中 A >1 的那个部分.令 y 表示这样一 
个数，使得 

l < y < A , (5.11) 

而且令 w 表示最靠近，（〃=1，2,…）的整数.令压表示以下 事件： 至少对一个77, 


S fl — np 〉X sj2n r pq log log n r (5* 12) 

成立.很显然只有当无穷多个氐发生时 （5.4) 才能对无穷多个《成立.应用第一个 

波雷尔-坎特立引理，我们看出只需证明 

1>{氏}收敛 (5. 13) 

就够了.由不等式 （5.7) 可知 

P{B r ) < c — n^p> A V2n r pq log log n r } 

= P { S *^ >A a /2 log log n r }• (5.14) 

因为 li / 〜 〜7< A ， 所以对充分大的7，有 


P { B r ] ^ c _1 P { s ^ > v / 2 Alog _ log n r }^ (5,15) 

因此，由第 7 章公式（5.2)，可知，对相当大的 r ， 有 


P { B r ) < c — ! e — Aloglog 〜 


c(log " r ) A c(r log y) A 


(5.16) 


因为 A >1， 故 （5.13) 的结论得证. 

(4) 最后，我们来证明关于 （5.4) 中的 A <1 的那一部分.这时我们选取7为很 
大的整数，使得 


(5.17) 

其中 7 是在以后要决定的一个常数. 令 n r = y % 由于第二个波雷尔-坎特立引理只能 
对独立事件才能应用，故我们引进 
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D r = S ' - S „ (5.18) 

u 是从第次以后到 第&次 （包括第 &次） 试验中成功的总数.对 a 我们有二 
项分布6(々;打，/>)，其中 n = 72 r —$A r 为事件 


D r — ( n r — tir-y ) p ^> 7 j ^/2 pqn r log log n r . (5* 19) 

往证无 穷多个 A_， 概率为 1 地发生. 由于各个不同的 A r , 依赖于互不重迭的试验段 
落， （即 仏，亦即九只依赖第 Ti^+l 到第〜次试验 .） 故 {A r } 是相互独立 
的.因此，根据第二个波雷尔-坎特立引理，只须 证明： SP{A r } 发散就够了，但 


P { A r } = p \ Dr ~ ( n l ~~^> rjjz -^ r — log log 72 r I • (5,20) 

1 a / in r — rir-i )pq ^ nr I 

由 （5.17) 可知 n r / =y / (y — 1) < rf \ 因此 

P { A r ] > p( Dr ~ (Wr ~-r 1 ^ > V 2 t } log log n T ] • (5.21) 

i V { n r — )pq > 

再利用第 7 章 （6.7) 的估计，我们发现对相当大的 r 


P { A r }> 


log log n r 


e 


7 } log lOg 


(log log n r )(log n r ) r 


(5. 22) 


因为〜 = 而且 7<1, 故对充分大的 r 我们有 P {A r } >l/r， 这就证明了级数 


发散， 

证明的最后一步是要验证 （5. 18) 中的 S% 可以 略去. 从我们已经证明了的定 
理的第一部分可知，对每一个€>0都可以找到这样的一个 N， 使得对一切 r>N 


| 」一 n^\p I <iZ log log n^\ (5.23) 

的概率大于等于 l —€. 现在选取 7? 非常接近于1，使得 

1- 7<(亨 )' (5.24) 

于是从 (5.17) 可得 

4 j?^i = in r y ~ 1 < in r { 7 j ~ X ) 2 » (5.25) 

因此 (5.23) 就蕴涵 

S n ( ^ n^\ p — ( 7 — A ) \/Zpqri r log log n r . (5.26) 

把 (5.26) 加到 (5.19) 上去， 我们得到 （5.4) 对;2=〜成立.这就推出这个不等 
式对无穷多个 r 成立的概率大于等于1一£，这就完成了我们的证明. ► 

伯努利试验的迭对数法则是一个普遍定理的特殊情形，这一个普遍的定理是由 
科尔莫戈罗夫 [53] 所首先提出的.现在有可能提出更强的定理 （参 看本章习题7及习 

题 8). 


8.6 用数论的语言解释 


令工为区间 0<_r<l 中的一个实数，且令 
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x = aia 2 < 2 3 **• (6. 1) 

是它的十进位小数的展开式（于是每个 a , 代表数字0,1，…，9中的某一个).除了 
a / l ( T 型的数以外 U 为整数），上面的展开式是惟一的.因为 a /10 M 既可使其展开式 
表为有限多位（包含无穷多个 0) 又可使其展开式包含无穷多个 9. 为了避免混乱起 
见，我们决定不用后一种形式. 

十进位小数的展开式可以与一个具有 P = l /10 的伯努利试验联系起来，数字0 
代表成功，其他的9个数字代表失败.如果在 （6.1) 中以 S 代替0,以 F 代替其他 
的数字， （6.1) 就代表了具有/? = 1/10的伯努利试验无穷序列的一个可能结果.反 
过来，任何一个由字母 S 和 F 所组成的序列都可以由某个 i 的十进位小数的展开式 
按上面的方式得之.按照这种方法，伯努利试验的样本空间中每个事件都可以用工的 
某个集合来 表示.例如： “第《次试验为成功”的事件可以用 第”位 小数为0的那些工 
来表示.这些 * r 就构成了 10^个区间，每个区间之长为 1 CT ”， 它们的总长为1/10, 

这就是这一事件的概率.每一个长为〃的有限的样本序列对应于某些区间的集合， 
例如，序列 SFS 对应于下面 9 个 区间： 0. 01< x <0. 011,0. 02< x <0. 021,-- ,0. 09< 

x <0. 091. 每一个这样的样本序列的概率等于其所对应于工轴上之区间集合的总长 
度.更复杂一些的事件常常可以用有限个样本序列的并来表示，从而计算前者的概 
率可以按照与轴上常用的勒贝格 （ Lebesgue ) 测度相同的加法规律来进行 • 因此， 
我们的概率永远可以与 j ： 轴上对应的点集的测度一致.于是我们可以把具有/>=1/10 
的伯努利试验的一切极限定理翻译成关于十进位小数展开式的 定理. 术语“概率为 1 
地”等价于“几乎一切工”或者“几乎处处”. 

我们曾经考虑过《次试验中成功的次数这一随机变量 • 为了方便起见，在这 

里我们着重指出下面的 事实： S ,, 是样本点的函数，我们用 S / x ) 代表 x 的前”位小数 
中0 的个数. 显然， S „ Cr ) 是■的函数，其图形为阶梯多边形，它的不连续点只能在 
a /10” 型的点上，其中 a 为整 数. 比值称为: c 的前《位小数中零的频率. 

在通常测度论的语言里，弱大数定律所断言的是：1/10按测度 收敛. 
而强大数定律所断言的是： S n (: c)/n — 1/10几乎处处收敛‘辛钦的迭对数法则就 

是说 

lim sup S ” U ) H .3# (6.2) 

Vn log log n 

对几乎一切 i 成立. 它回答了一系列论文 [54 ’ 55] 中所研究过的一个问题.这个结果的 

更进一步的改善，请参看本章习题7及习题 8. 

除了数字0,我们也可以考虑用其他的 数字. 那么强大数定律可以解释为：对几 
乎一切 X ，这（0，1，…， 9) 10个数字中每一数字的频率都趋于 V 10. 如果把十进位 
系统的基“10” 换为其他的基，就可得出类似的定理.这个事实曾为波雷尔 （1909) 
所发现，且往往表 述为： 几乎一切的数都是“正常的”. 





8. 7 习 题 


5 1 * 


求一个整数/?，使得在掷骰子时“连续出现三次么点的连贯’’先于“长为的非么点的连 
贯”的出现，而出现的概率大约为1/2, 

考虑具有3个可能结果 A ， B ， C 的相互独立的重复试验， A ， B ， C 所对应的概率分别为/>， 
g ， r ( f + g + r = l ) .求“接连出现 cr 个 A 的连贯”在“接连出现个 B 的连贯”之前的 
概率. 

(续上 题).求长为 a 的连贯发生在一个长为/? 的 B - 连贯或在一个长为7的 C - 连贯之前 
的概率。 

在伯努利试验序列中，令表示在第2” 次到第次试验中接连出现 n 次成功的事件. 
如果/ >>1/2,则有无穷多个 A n 发生的概率为1;如果 p < l /2, 则只有有限个戌发生的 
概率为 1. 

令 iV „ 为在第72次试验开始的成功连贯的长度（即是，如果第〃次试验的结果是 F ， 则 
队=0, 等等).证明 


lim 


sup L^ 


(7.1) 


的概率为1，其中 Log 表示以 1/ f 为底的对数. 

提示： 考虑一个长度超过 a Log 77 的成功连贯在第”次试验之后的事件对 a > l ， 计 
算是非常顺利的.对 a < l ， 考虑试验次数的一个子序列 A ，❿，…，其中是与 《 Log ” 
非常接近的整数. 

从迭对数法则我们可以 推出： 有无穷多个 w 使 ( TK ^<17 rO 全是正的概率为 L (注 意： 
应用第 3 章的结果，可以证明更强的结论 .） 

令分 G ) 为正的单调上升函数，且令〜为最接近 e 〃 / k ^的整数，如果 


2 


n r ) 




(7.2) 


收敛，则概率为1地只有有限个《使 


Sn^np^r \fnpq^ in) 


(7.3) 


成立.[注 意： 不妨假设7 log log ^， 因为对于更大的4 («), 迭对数法则足够 
对付这个问题 .] 

证明 2 级数 （7.1) 收敛当且仅当 


1. 从奈依曼 （ D . J . Newman ) 的一篇稿件中提出的， 

2, 习题7、习题8合在一起证明 了：在 不等式（ 7 . 4 )收敛的情形下，概率为1地只有有限个《使不等 
式 （7.3) 成立 • 反过来，如果 （7.4) 发散，则概率为1地有无穷多 个”使 不等式 （7.3) 成立, 
其逆是很难证明的，参见[56]，其中对于任意随机变量的更一般的定理都证明了.对于具有户= 

去 的伯努利试验的特殊情形，请参见 [57], 迭对数法则是从^2 log log (的特殊情形得 

乙 

出的. 
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2 ㈣ e 十⑸ （ 7.4) 

n 

收敛. [提示：归并对应义 — i <?? 的那些项，并注意仏一 n r — 1〜 /? r (l —1 /log r ) ;此外 
(7.4) 只有当#(”)>21(^ log «时才能收敛 .] 

9. 由前一问题 证明： 概率为1 地有： 

lim sup [ S ； - /2 log log w ] =1 - (7 - 5) 


第 9 章随机变量•期望值 


9. 1 随机变量 

按照微积分教科书上的定义，如果对每一个实数: T 都有惟一的一个值3；与之对 
应，则称^为实变量工的 函数. 这个定义可以推广到自变量 I 不是实数的情形.我 
们可以称两点间之距离是一对点的 函数； 三角形之周长为定义在三角形集合上的函 

数； 序列 U „} 是定义在所有正整数上的 函数； 二项式系数为数对（: rj ) (其中 

第二个数々为非负整数）的函数.同样，我们可以称《次伯努利试验的成功 次数& 

为样本空间上的函数，这个空间由2” 个样本点组成，且每一个点都对应于一个 
数 S „. 

定义在样本空间上的函数就称为随机 变量.在前面各章里面我们一直用着随机 
变量的概念，只是没用这个术语罢了.举几个典型 例子： 打桥牌时手中爱司的个数 
是随机变量；《个人中生日相同的人数是随机 变量； 〃次伯努利试验中成功的连贯数 
是随机变量.在每一种情形都有惟一的一个规则使每一个样本点与一个数 X 联系起 
来.概率的古典理论主要是致力于赌徒的赢得的研究.而赌徒所获之赢得是一个随 
机变量.事实上，每一个随机变量都可以解释为一个真实的或者假想的赌徒在适当 
赌博中所获之赢得.在物理系统中扩散时质点的位置、能量、温度等等都是随机变 
量，但是它们是定义在非离散的样本空间中，因而，对于它们的研究将放在以后. 
在离散的样本空间的情况下，我们真正可以把任一随机变量 X 列表表示，即用某种 
次序把样本空间中的所有的点列出而且与每一个点相对应的 X 的值也都列出来. 

随机变量这一术语有些模糊，而称之为随机函数则更合适一些（其自变量为样 
本空间中的点，亦即一次实验的结果). 

令 X 为随机变量，^ r 2 ， x 3 , …为 X 所取之值 1 (在下面大多数情形中， ： r 7 将为 
整数).所有的那些样本点，使得在其上 X 取固定值 a 者构成 事件： X=x” 它的概 
率用 二 X 』 } 表示.下列 函数： 

P { X - - fup (j = l ，2, …） （ L 1) 


1. 在标准的数学术语里，点集: ^,心， …称为: r 的值域. 不幸的是，统计的文献里，把 X 的最大值和 
最小值之差称为值域. 
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叫作随机变量 X 的（概率）分布 1 .显然 

= 1 . ( 1 . 2 ) 

如果应用这些术语，我们可以说伯努利试验中的成功次数 S „ 是一个具有概率分 
布的随机变量，而一直到第一次成功出现（包含这次试验）所需之试验 
次数是一个具有概率分布 {( i ~ l p ) 的随机变量. 

现在我们考虑定义在同一个样本空间中的两个随机变量 X 和 Y ， 其所取之值分 
别记作工1 ， x 2 ，…和…且其对应的概率分布为 {/( a )} 和 )}. 同时满足 
和这两个条件的点的总体构成一个事件，其概率记作 P { X = a V ， Y =： y A }. 
下列 函数： 

P{X — x n Y = y k ) = pixj , y k ) ()，々=1，2，".） （1.3) 

叫作 X ， Y 之联合概率分布.最好是用如表 9-1，9- 2所例示的双重记录表来表示它. 
(注 意： 行数与列数不一定要求相等）显见 

p { x n y k ) > 0, ' Yjpixj . yk ) = 1, (1.4) 

且对每一个固定的 j 有 

p ( jCj , yi ) + pixj , 3 ^ 2 ) + 〆 々，％) + …= P{X = x } ] = f { x } ) ； (1. 5) 

对每一个固定的々有 

+ P{Y ^ y k ) ^ g ( M ). (1.6) 

换言之，把每行或每列的概率加起来，我们分别得到 X 或 Y 的概率分布.这两个分 
布叫作边缘分布.它们可以在表上显示岀来，像表 9-1,9-2 中那样.“边缘”这一形 
容词是从双重记录表的外貌想出来的.而且当上下文中两个随机变最的联合分布及它 
们的单个（边缘）分布同时出现时，为了文体上的清晰，也应用“边缘”这一形容 
词以示区别.严格 地说： “边缘”这一形容词总是多余的. 

联合分布这一概念完全可以推广到多于两个随机变量的系统上去. 

例 （ a ) 把 3 个球随机地放入 3 个盒内. 我们考虑一个形式上由表 9-1 及第1章 
1.2 节例 （ a ) 所定义的27个点构成的样本空间，对每一个点我们赋以概率1/27.令 
iV 为已放有球的盒的数目，令 X 为第 i 个盒中的球的个数， 1-1, 2, 3. 这些都是形象 
性的描述.形式上看 iV 这个函数在第1〜3个样本点上取值1;在第4〜21个样本点上 
取值为2;在第22〜27个样本点上取值为 3. 因此， JV 的概率分布为 P { iV = l } = l /9, 


1. 对一个离散的随机变量 X 来说，其概率分布为定义在 X 之所能取值 A 的总体上的函数/(々），这 
个术语必须要与“分布函数”这一术语区别开来.分布函数是一个非降的函数，且当 A — — oo 时 
它趋于0;当: r — oo 时，它趋于 1. X 之分布函数 F ( JC ) 用下式来 定义： 

F ( x ) = F{X ^ x } = y ^/( x >) ， 

: Ty<X 

最后的和是跑遍一切不超过 I 的而. 故一个随机变量的分布函数可以从其概率分布计算而得，反 
过来说也对.在这一卷里我们不讨论一般的分布函数. 
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P { N =2}= 2/3^{]\^3}=2/9.(从足）和(^)的联合分布由表 9- 1和表 9- 2给出. 

表 9-1 例 ( a ) 中 （ N , X !) 的联合分布 



0 

1 

2 

3 

iV 的分布 

1 

2/27 

0 

0 

1/27 

1/9 

2 

6/27 

6/27 

6/27 

0 

2/3 

3 

0 

6/27 

0 

0 

2/9 

Xi 的分布 

8/27 

12/27 

6/27 

1/27 



ECN) = 19/9, E(N 2 ) = 129/27 ， Var(N)-= 26/81 ， 

E(Xi)-l, E(Xi) = 45/27 ， Var(Xi )=2/3 ， 


E(NXi)-19/9, Cov( N,Xi)=0. 

iV 是 3 个球随机地放入三个盒中被装进球的盒的个数，是第一个盒中的球的个数. 


表 9-2 例 ( a ) 中(不，為）的联合分布 



0 

1 

2 

3 

Xz 的分布 

0 

1/27 

3/27 

3/27 

1/27 

8/27 

1 

3/27 

6/27 

3/27 

0 

12/27 

2 

3/27 

3/27 

0 

0 

6/27 

3 

1/27 

0 

0 

0 

1/27 

X! 的分布 

8/27 

12/27 

6/27 

1/27 



Ed ) = 1 ， E(X?)=45/27, Var ( X , ) = 2/3, 


_ £( Xi 不）= 2/3, _ QMH ) — 1/3. 

X , 是3个球随机地放人三个盒中第；个盒中的球的个数 • 


( b ) 多项分布.在许多场合，三个随机变量的联合分布是由多项分布所给出（参 


见第 6. 9节）， 即是： 

P{Xi = ?X 2 — kz ~ ^3 } 


n\pi kl Pz k2 / > 3 ^ (1 ~ ^1 — p 2 — p3) 
k x !^ 2 !^ 3 !(；7 — —k z 一是 3 )! 


n — k, —k ， — A, 


(1.7) 

此处々 i ，匕和 h 是满足的非负整数.例如，若兄，兄，不分别代表掷 
一颗均匀的骰子《次出现么点、两点、三点的次数，则其联合分布由 （1.7) 所给出， 
且此时的 A =/>2 = />3= l /6. 再考虑一个例子.假定从一个由几个子总体（或几层子 
总体）构成的总体中无放回地抽出一个样本.如果 X ,表此样本中来自第 j 个子总体 
的元素的个数，则（ X ,， X 2 , X 3 ) 的联合分布也是形如（1_7)的多项分布. 

为了得到（及 ，及） 的（边缘）分布，我们必须在 （1.7) 中固定屯和心而对所有可 
能的々 3 求和，即是对々 3 =0,…， rz — A — 心求和.应用二项定理，我们得到三项分布： 
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P{Xj = k x jX 2 = k 2 } 


\pl k ' P2 ki (I ~ Pi ~ P2)^^- 


k x \k 2 \ (n — ki —k 2 )\ 


( 1 . 8 ) 


再把上式对6=0,…，〃 一 h 求和（原文误把此处 t 写为 


译者注），得到单个 


X ,的分布，它就是 p = p { 的二项分布. 

( C ) 几何分布. 考虑一个伯努利试验序列，它至少做到连续出现两次成功所需要 
的次数为止•令兄为第一次成功出现以前失败出现的次数，而 x 2 是第一次成功到 

第二次成功之间失败出现的次数. （足， X 2 ) 的联合分布由下式 给出： 

PiX , = j , X 2 = k ) = d 2 ， (1.9) 

(参见第 6.8 节 .） 对所有的々求和，得到兄的分布几何 分布. （此例说明：随机 
变量的应用如何避免了涉及不可数的样本空间所带来的困难 .） 

( d ) 随机抽样. 把例 （ b ) 作各种变化得到了奇妙的结果.现在假定试验的次数 
事前并不固定，而依赖于一个随机实验的结果如下：恰巧做《次试验的概率为 e _ A A ”/ 
n \, 换句话说，试验次数本身就是一个服从泊松分布恤-4”/«!}的随机变量.给定试 
验次数《，事件具有形如 （1.7) 右边的（条件）概率.为 
了得到此事件的绝对概率，必须乘 r A ； TA ! 于（ I . 7 )之右边再对一切可能的 n 求 
和.对于给定的卜，当然需要 

n^ki ~\~ k 2 +^ 3 * 


引进差 r 作新的求和指标，得到了 

P {^K\ — k\ ^ X 2 = ki ^ = 々 3 } 


e 


一 A 


( xpi ) k ^ ixpzY 2 ( a /> 3 ) 

ki \ k 2 !^ 3 ! 


s 


= 0 


A r (l — Pi — p 2 — p 3 ) r 


我们 知道： (1.10) 右边之级数是指数函数，从而 (1.10) 可重 写为: 


P{X l = k x ,X 2 ^ k 2 ,X 3 = h) 


-XP, (从 1 ) 


_ 


> p 2 


(xp 2 ) k2 




u I 


( xp 3 ) 

L 1 


( 1 . 10 ) 


(L 11) 


对所有的々 2 和 h 求和消去右边的第二个和第三个因子，得知兄本身也具有泊松分 
布.奇妙的事 情是： 联合分布是它们各自分布的乘积，以后我们说这就是此 三个随 
机变量 X , 相互独立. （此例本质上是第 6. 10节习题27的复述 .） ► 

应用 （1.3) 的记号，则在给定的条件下 (/ U ; )>0)， 事件发生的 


条件概率变为 

P{Y=y k \X = x 3 }=^^ 1 . a-12) 

这就对 X 的每一个值给出了一个数，故 (1.12) 定义了 X 的一个函数，称之 为给定 
X 后， Y 的（条件）分布. 并用 P I 表之. 从表 9- 1和表 9- 2中一看便 

知： 一般地说，条件概率 (1.12) 与 g (%) 是不同的.这表明从 X 的值我们可以对 Y 
的值作一些推测，反过来说 也对. 这两个随机变量是（随机地）不独立的.当 Y 是 X 
的函数，也就是当 X 的值惟一决定7时， X 与 Y 之间存在着最强度的依赖性.例如把 
一个硬币扔《次，令 X 和 Y 分别为“正面”及“反面”所出现的次数，则^=”_兄 
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同样，时，我们可以由 X 来计算这就意味着，在联合分布中每一行除 
了一项以外其他的都是 0. 另一方面，如果对一切 组合々，力 都有/>(々，％)=/(易） 
g (>), 则事件叉=：1：,，与7=：^是相互独立的，且联合分布取乘法表的形式.这时我 
们称随机变量 X ， Y 是相互独立的 • 特别地联系于独立的试验就会出现相互独立的随 
机变量. 例如： 把一颗骰子掷两次其所得之点数是相互独立的随机变量.不同性质 
的一个例子可见例 （ d ). 

注意 x 和 y 的联合分布决定 x ， y 的分布.但是从 x ， y 的边缘分布不能算出 x 
和 y 的联合分布.如果两个随机变量 x ， y 有相同的分布，则它们可能相互独立也可 
能不相互 独立. 例如在表 9- 2中的两个随机变量 X ! ， X 2 不是相互独立的然而却具有 

相同的分布. 

所有这些概念都可以应用到多于两个随机变量的 情形. 我们扼要地重述为如下 
的形式 定义： 

定义所谓一个随机变量 X ，即是定义在一个给定的样本空间上的函数，也就 
是对每一个样本点给予一个实数与之对应 • 方程组 （1.1 ) 定义了 x 的 (概率）分 
布. 如果两个随机变量 X 和 Y 定义在同一个样本空间中，则其联合分布由 （1.3) 所 
给出，它给出了 X 和 Y 取一切组合的概率.这个概念可以推广到定义在同 
一个样本空间中的任意有限个随机变量的情形 • 如果对任意一组值（工， 

夕，…， w ) 都有 

P{X = x,Y = : y, …， W = w }— 

= P{X = j ：} P{Y = … = w } ， （1.13) 

则说随机变量 X ，1 V ..， W 是相互独立的 • 

在第 5. 4 节中我们曾经定义了 n 次相互独立试验的样本 空间. 把这个定义与 
(1.13) 比较，我们看到， 如果兄只依赖于第 々次 试验的结果，则随机变量足，…， 
X „ 是相互独立的 • 更一般地，如果随机变量1/只依赖于前&次试验的结果，而另一 
随机变量 V 只依赖于后面 W — 々次试验的结果，则 U ， V 是相互独立的（参看本章习 

题 39). 

我们可以把随机变量想像为样本空间中的点的一种标记，这种过程在殷子的例 
子中是很熟悉的，在骰子上每一面都用数目来标明，而且我们把数目说成是单独试 
验的可能结果 • 在传统的数学术语里，我们说随机变量是由原始样本空间到新空间 

上的映象，这个新空间的点是 A ，々，•••，因此有： 

当{/(乃）}满足条件（1.2)，不再涉及原来的样本空间时，我们就可以说一个随 

机变量 X 以概率 /( xj ，/0 2 )，…来取值 A ， x 2 ，..._ 新的样本空间是由样本点工1 ’ 

^，…构成的 • 指定一个概率分布等价于指定一个点为实数的样本空间.谈及两个相 

互独立的随机变量 X ， Y 具有分布 {/( A )} 等价于谈及一个以数对（々，％)为 

样本点的样本空间，其概率由尸 { }=/( x )) g (34) 来确定 • 同样，对一组 w 个 

随机变量所对应的样本空间，我们可以取《维空间中的点 （^，： V ， …， ⑹ 
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所构成的点集，而其中的概率由联合分布所给出.如果联合分布由 （1.13) 所给出， 
则说随机变量是相互独立的. 

例 （ e ) 具有可变概率的伯努利试验. 考虑 rz 次相互 独立的 试验，每一次试验都 
只有两个结果： S 和 F , 第 &次试 验出现 S 的概率为 A ，出现 F 的概率为办=1—扒. 
如果久=化则这个试验就变为伯努利试验.最简单的描述它的方法是把 S 和 F 分别 
赋以值1和 0. 因此，这个模型完全可以用下面的语言来 描述： 我们有 n 个相互独立 
的随机变量 ，兄 的分布为 = 九， PU A = 0}=〜 这个试验可以理解为 
“泊松试验” [参见第 9.5 节例 （ b ) 和第 11. 6节例 （ b )]. k 

显见，同一个分布可以联系不同的样本空间.如果我们说随机变量 X 各以1/2 
的概率取值1和0,则我们就默认了一个由 0，1 两点所构成的样本空间.然而，我们 
也可以用这样的约定来定义随机变量 X :把一个硬币扔10次，若第10次出现正面， 
则 X 取0;出现反面，则取 1. 这时 X 就定义在由所有的序列 （ HHT …）所构成的 
样本空间上，这个样本空间有 W 个样本点. 

原则上，我们能够把概率论限制在由随机变量的概率分布概念所确定的样本空 
间上.这样做就避免涉及抽象的样本空间，也避免涉及“试验”、“实验的结果”等 
术语.把概率论简化为随机变量的理论使得分析知识立刻可以派上用场，而且也简 
化了理论的诸多方面.然而，它也有美中不足之处，那就是使得概率背景晦涩不明. 
随机变量的概念仍然容易含糊地被当作“某些以不同的概率取不同的值的东西”，但 
是随机变量本身是通常的函数，而函数这个概念并不是概率论所特有的 • 

例 （ f ) 令 X 为一个随机变量，其可能取的值为& ,心，…且对应的概率为/(々）， 
/ Or 2 ) ，….为了帮助读者想像，可以构造一个概念性的实验来导出 X . 例如把轮盘 
赌具的轮盘分成弧 A ，4,…，其长度比为/(々”/(心）：….如果轮盘赌在弧中的 
某一点停下来，则我们可假想某一个赌徒获得一笔 款项巧 （正的或者负 的）. 于是 
X 就是那个赌徒所获的 利益. 在《次试验中所获之利益假定为《个具有共同分布 
{/(;.)} 的相 互独立的随机变量.如让每一个组合(巧，义）都有一段弧与之对应，且 
这时想像两个赌徒各获利 々， y k ， 便得到具有给定的联合分布的两个随 

机变量. ► 

若 x ， y ， z ， …为定义在同一个样本空间上的随机变量，则任一函数 F(x,y, 

Z , …)仍然是一个随机变量.其分布可以从 X ， Y , Z ， …的联合分布得出，即简单地把 
F ( X ， Y ， Z ， …）这些取同一值时的所有的组合 ( X , Y ， Z ， …）的概率加起来. 

例 （ g ) 在表 9-2 所表明的例子中，和足+&是一个随机变量，其可能取的值 

为 o ， i ， 2 , 3 , 且其对应的概率为 mi ， 昜.积兄不 是另一随机变量，其可能取 

的值是0，1， 2 ，其相应的概率为劈，嘉，嘉. 

( h ) 我们再回到例 （ c )， 并考虑兄和 X 2 的各种函数，很有趣的情形是和函数 
S = X :+ X 2 . 为了得到我们要把 （1.9) 中（满足） = w 的一切_/和是 
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所对应的概率加起来，共有 P +1 对，而且在此特殊情况，所有的都具有相同的概率 
q v p z ). 因此， p { S = v ) = { v J tl ) q v p \ 即这是第6章 （8.1) 的一个特殊情形 1 . 

其次，考虑1 /是;^与不中较小的一个，当时， U = X !， 而当 
时 U = X 2 . 为了得到我们必需对 （1.9) 中一切满足下列条件的 、 j ， k 、 
对所对应的概率加 起来： = w 而且或者而且々=，.这使我们得到两 
个几何级数，而且 

P { U = v } - + ^ l P Z = ( f v a j rq)p . (1. 14) 

1 — q 1 — q 

此处 z;=0 ， l，〜. 

类似的计算 可得： 

P { X \ — X 2 = v } = ¥+$ ， 幻 = 0, 士 1 ， ± 2,…. （1.15) 

► 

关于两两独立的附注.在第 5.3 节例 （ e ) 中，我们曾经指出了一个有趣的事实，那就 
是： 三个事件中两两独立，但这三个事件并不相互独立_为了陈述有关随机变量的一个类似 
的结果，我们考虑一个最简单的个例.假定一个样本空间由 a 个样本点构成，而且其中每个 
样本点具有概率 1/9. 其中6个点是1，2,3的6种排列所构成，而其余的3个点就是（1，1，1)， 
(2,2,2)和（3,3,3).再引人三个随机变量兄，不，不如下：兄在任一样本点上的数值就等于 
此样本点中第纟个位置所出现的 数值. 这些随机变量所可能取的值都是1，2,3,而且易见它们 

的分布及联合分布 如下： 

P{Xj = r } = l /3, P{Xj = r ， X k = s } = 1/9 (1. 16) 

[这与第 5.3 节例 （ e ) 的结论只有符号上的差异 •:] 由此推出这三个随机变量是两两独立的 • 
另一方面， x 3 由不和 X 2 惟一决定，所以 Xi ， x 2 ， x 3 并不相互独立， 

我们进而定义另外三个随机变量（兄，兄 工）， 其办法类似（兄， x 2 ， x 3 )， 但这两组随 
机变量之间相互独立 • 用此办法，我们定义了 6个两两独立的满足 （1.16) 的随机变量.如此 
继续下去，我们得到了一个 随机变量序列 Xi ， X 2 ，" •，兄 ，…， 其中两两独立且满足 （1*16)， 但 

它们全体并不相互独立 2 . 在第 5. 13节的例 （ f ) 中我们还要回过来讨论这一 问题- 

9. 2 期望值 

为了得到合理的简化，常常需要用一些“特征值”来概要地描述概率分布•在 
第 2. 7节中的关于等待时间的问题中曾经涉及过的中位数就是一个例子.再如，二 
项分布的中心项也是.然而，在这些特征值中，期望值或者均值是非常重要的一个. 
一 则对于它易于作分析处理，二则它有一个好的性质，即抽样的稳定性而使得统计 


1. 原著在此误把 q v p 2 写成 q k P 2 . ——译者注 

2 . 类似的构造，可得到许多例子，其中没有三个随机变量是相互独 立的. 在随机过程中还可以构造许多 
不同类型的例子.参见： w . Feller , Ana Math Stat VoL 30(1959) f pp , 1252—1253. 
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学家们喜欢用它.它的定义来自习惯上的平均概念.假定在由家庭所构成的总体中， 
有是个小孩的家庭有&个，于是家庭的总数为^1=^+%+^+…，而小孩的总数为 
m =« 1 +277 2 +3 n 3 + ….故每个家庭的小孩平均值为 m / n . 概率与频率之间的类似性 
启发我们给出下面的 定义： 

定义 令 X 为一个随机变量，其可能取的值为： rHA ，…，且其对应的概率为 


/(々），/(々），…，若下列级数 

E ( X ) = Ex k f ( jc k ) (2_ 1) 

绝对收敛，则定义 （2.1) 右边的级数为 X 的期望值或者均值，这时我们说 X 有有限 
的期望值.如果2 丨心1/(々） 发散，则说 X 没有有限的期望值. 

把概率直观地想像为重复实验中观察到的频率的极限，有时是很方 便的. 这导 
致下面的关于期望的直观解释.把一实验“在同等条件下”重复做《次，并令 
兄，…，尤是 X 的实际观察值.对充分大的 n ， 平均数 （兄+ — + XJ / n 应接近 


E ( X ). 大数定律给此含糊的直观描述以精确含义 • 

一般地，最常用的随机变量都是有有限的期望值的，否则这个概念就没有实际 
意义了.然而，与物理学中一些重要的重现问题相联系的随机变量就没有有限的期 
望值， “均值”、“平均数”、“数学期望”、“期 望值”这些术语都是同义词. 我 们有时 


也说 分布的均值来 表示随机变量的均值 • 在数学和统计学中， 一 般采用这一符 

号来表示 X 之期望值，而在物理学中则通常用 X ,< X ),< X > Av 来代替记号 E ( X ). 

我们希望计算例如说 X 2 的期望值.这个函数是一个新的随机变量，其所取的可 

能值为 x 〗. 一 般地说的概率不是/(々）而是/(々）+ /( — 々）•而且定义 

JEXX 2 ) 为24{/(心）+/(— x *)}， 求和上一撇表示只对心>0时求和.显见 

= ( 2 . 2 ) 


如果右边的级数收敛的话- 
更一般地，我们用同样的方法可 得出： 

定理1 任 一 函数,定义 一 个新的随机变量 ^( X ), 如果 0( X ) 具有有限期望 
值，则 

E (^( X )) = I ： Hx k ) fU k ), (2.3) 

此处的级数绝对收敛当且仅当存在.对任一常数 a ， 我们有 = 


aE ( X ). 

如果几个随机变量 及，…，：^. 定义在同一个样本空间上，则它们的和 及+ …+ 
叉„是一个新的随机 变量. 它的可能值与对应的概率可以从的联合分布找出，从而 
£：(兄+… + X „) 可以算出.下面的重要定理提供了一个简便的计算 方法： 

定理2 如果兄，叉 2 ，".，足都是具有有限期望值的随机变量，则它们的和的期 

望值存在，且其和的期望值就等于期望值的和： 

£(及 + … + X „) = E ( X 2 ) + …+ E ( X „). (2. 4) 

证只需对两个随机变量 X ， Y 的情形来证明 （2. 4 ) 就够了，应用 （ L 3) 的记 





号，我们能够写出 

E ( X ) + E ( Y ) = + YjykP ^ j ^ yk ^ (2.5) 

j^k j，k 

这个求和法跑遍一切可能的值 A ，％ (它们不需要完全不同).由于 （2.5) 中之两级 
数绝对收敛，故其和可重排次序，从而得出 Uj + y k ) pUj , y k ). 由期望值的定义 

得知，这就是 X + Y 之期望值.于是，我们-成了定理的证明. ► 

显然，对于随机变量的积，是没有与上述定理对应的一般定理的.例如 E ( X 2 ) 
一般地并不等于£ ( X ) 2 .如 X 是掷一颗均勻的骰子所得的点数，则 E ( X ) = 7/2, 但 
£(；^) = (1+4+9+16+25十 36)/6 = 91/6. 然而，对相互独立的随机变量来说，简 

单的乘法规则是成立的，这就是下面的 定理： 

定理3如果是具有有限期望的相互独立的随机变量，则它们的积也是具 

有有限期望值的随机变量，且 

E ( XY ) = E(X)E(Y). (2.6) 

证为了计算 E ( XV )，我们将对每一个可能值乘上其对应的 概率. 前面 
已经指岀，在定义 （2.1) 中々之值不一定完全不同.因此 

E(XY) = ^^ j y k f(^ j )g(yk') = { ( 2 . 7 ) 

上面关于级数重排次¥是可以允许的，因为这些级数为绝对收敛.这就证明了我们 

的定理. ► 

由归纳法可 推出： 对任意有限个相互独立的随机变量，类似的乘法规则还是成 


立的. 

为了方便起见，我们给岀条件概率分布的数学期望的概念 • 如果 X 和 Y 是服从 
联合分布 （1.3) 的两个随机变量，给定 X 后 y 的条件期望 E ( YjX ) 是 X 的函数，它 


在 X = x } 的函数值由 下式: 


^ykP{y y k \ X -= xj} = 


^ykp^^yk) 

/(^) 


( 2 . 8 ) 


定义，如果级数绝对收敛，而且对一切7有 /( a )> o . 

条件期望 £ XY |；0 是一个新的随机变量 • 要计算它的期望，就需要把（2, 8) 乘 


以 /( A ) 再对一切 j 求和 • 其结果 如下： 

E(E(Y I X)) = E(Y) (2.9) 


9.3 例子及应用 

( a ) 二项分布.令 S „ 是在” 次成功概率为的伯努利试验中的成功 次数. 我们知 

道 S „ 具有二项分布夕) }. 因此 £( S „) = S 姑(是;《，户）=打户 26( 是 一 
而最后一个级数包含了对应于 „—1 的二项分布的一切项，故其和为 1. 因此二项分 
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布的均值为 


E(S„) = np. (3.1) 

不需要直接计算，采用一种常用的方便方法仍可得出同样的结果. 令\为第 k 
次试验中成功的次数，则这个随机变量只取值0，1，且其对应的概率为因此 
E(X*> — 0 « 9+1 • p~p. 又因 

S„ =兄+不+…+又. (3.2) 

故从 （2.4) 便可直接得出 (3.1). 

(b) 泊松分布.如果； C 具有泊松 分布〆 6;A) = e— A AV々！ （其中々= 0，1，2,…）.则 
E(X) = 2^(^；A)=A2p(^ — 1 ;A) » 而最后一个级数包含了泊松分布的一切项，故其 
和为 1. 因此泊松分布 {e— A AW_} 之均值 为入. 

(c) 负二项分布.令 X为具有几何分布/ 3 {叉=是}=^^(々= 0，1，2,“-)的随机变 

量.于是 £ XX) = ^(l+2<?+3y + …）.右边是一个几何级数的导数，所以 f：(X) = 
qp { l - q r 2 = q / p . 在第 6. 8节我们曾经看到X可以解释为一个伯努利试验序列中第 
一次成功以前失败的次数.更一般地，我们研究过对应于直到第 ”次成 功出现为止的 
伯努利试验的样本空间.当 r <” 时，令 令足 为从第 r — 1 次成功之后到第 
r 成功之前的失败 次数. 于是每一个足都具有几何分布 Wp )， 而且 E (足 ）= g/A 
和1 =足+… + X 是第 r 次成功以前失败的次数.换句话说，I是一个随机变量， 
它的分布是如第6章 （8.1) 或等价的 （8.2) 所定义的负二项分布.由此推出，这个 
负二项分布的均值为 rg/f. 这也可以用直接的计算来 验证. 显然，从第6章 （8.2) 
推出 kJXk ' r ， p ')= rp— i q /( 是 一 1 ，而这个分布 {/( 是 一 1; r+ 1，/?) } 的诸项之和 

为 1. 这个直接的计算有一个 好处： 它也可以应用到非整数「上去 • 另一方面，第一 
种推导不需要知道兄+…+^^的分布的显示表达式就可以得出结果. 

(d) 抽样的等待时间.从具有 N 个不同元素的总体中，做有放回的抽样.由于重 
迭性，大小为 " 的随机样本中所包含的不同的元素一般地小于「个.当样本的大小增 
加时，新元素进人样本就会愈来愈小.在这个试验中有一个很有趣的随机变量，那就 
是得到 r 个不同元素时的样本大小 S r . (例如，考虑 N=365 个可能的生日，这里 S r 
就 表示： 当样本中包含了 r 个不同生日的人时，所抽出来的人的数目.类似的解释可 
以用到球放入盒中的 例子. 赠券或其他玩物的收集者对我们的问题特别感兴趣，如果 

他得赠券的情况可以比作随机抽样的话 1 .) 

为了简化语言，我们称一次抽取是成功的，如果其结果使样本中增加了一个新 
元素.令 S r 是一直抽取到第 r 次成功时所需的抽取次数 • （含第 r 次成功那一次抽 
取 .） 令 — 则是从第々次成功到第 A + 1 次成功之间失败的次数. 
在这些抽取中，总体还有 iV_A 个元素未进人样本，因此 X* — 1是具有/ >=(iv—A)/iV 


1. 波利亚用不同的方法处理了一个稍为更一般的问题.讨论优惠券收集问题的文献是很多的.参见本 
章习题24, 25,第 11.7 节习题7,第2_ 11节习题 12- 





的伯努利试验中第一次成功前失败的次数，根据例 （ C )， 有 E(X k ) = l + q/p=N/CN 
—k). 又因为\ = 1 +足十…+又^，所以 


E ( S r ) 


n \n + n zi i 




+ … + 


N - r +1 


(3,3) 


特别地，£：(50是抽完总体中一切不同元素所需的抽取次数的期望 * 如 iV =10, 则 
E ( S ]0 ) = 29. 29,-, E ( S 5 )^6.5-. 这就意味着，我们可以期望大约以6次到7次的 
抽取把总体中的一半元素抽出来，而剩下那一半则需要23次以上抽取才能抽出来. 

为了得到 （3.3) 的逼近，把 （N — A 广 1 视为这样一个梯形的 面积： 其底是以 
iN~k) 为中心的单位区间，其在点 x 的高为 x — 1 . 把此面积代之以在的图形下 

之面积， 得到： 

rmi N +T 

E ( S r ) ^ N dr = N log - (3. 4) 

一 + N-r + y 


作为一个应用，任取《<1，考虑取得这样的样本所需的抽取次数的期望 值：这 
种样本中所含的不同元素的数目与总体中不同元素的数目 N 之比为 a . 此期 望值为 
E ( S r ), 其中 r 是大于等于 aN 的最小 整数. 当 N — oo 时， （3.4) 中期望误差趋于 
0,从而所要求的期望值与 JV log (1 — ^厂 1 之极限同. 注意： 所有这些结果的获得， 
都不需要它本身的概率分布.[后者可以从第4章 （2.3) 的占位问题中容易导出 •] 
( e ) — 个估计问题. 一个碗中装有 iV 个标有 号数从1到 JV 的球.令 X 为采用有 
放回的随机抽样时，”次抽取中所抽出来的最大的 号数. 事件意味着所抽出来 

的”个号数中每一个都小于等于々，因此 = 所以 X 的概率分布由 


p k = P{X = k) = P{X^k}-P{X^k-l] 

~ {k n ~ ( 々一 l) tt } N~ n 


(3.5) 


所给出.故有 


E(X) = Yj k p k =N- n YAk 


7T^1 


k = l 


k = l 


” {N 


/ i+l 


(走一 1) 卄 1 -ik-lY) 


1 T 

(k — 1)” }• 


(3.6) 


对于相当大的 N ， 
面积，也就是说， 


最后一个和近似地为四条曲线，工 = 0，工=%0 = 0所围成之 
它等于 N w+1 / U +1). 由此推出，对于相当大的 N ， 有 


E ( X ) (3.7) 

w 十丄 

如果一个城市有 N =1000 辆汽车.观察一个 n =10 的样本，其执照牌上的最大的号 
码（假定随机性）的期望数大约是 910. 应用统计学家利用由样本中所观察到的最大 
值来估计未知的真实数目 N . 在第二次大战期间，曾用此法估计敌人的生产[参看本 
章习题8,9]. 
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( f ) 在统计检验中的应用.此例说明 1 期望的实际应用可避免概率分布的繁复 
计算. 

某真菌的孢子是由8元链所产生的.链可以断裂成几段，一直到这些孢子生成 
包含1到8个孢子的衍生物.有理由假设连结这8个孢子的7条线是否断裂是相互独 
立的，而且每条线断裂的概率为 P . 在这些假设下，从理论上看，计算“单体”（即 
1元链）、“双体”（即2元链）……等的联合分布是可能的.但是，这会涉及很多冗 
长的计算.另一方面，由此假设对实验的检验发现，只需知道“单体”、“双体”的 
期望值就够了，而这些期望是可以精确算出的.例如，在链的两端的孢子变成单体 
的概率是/>，而位于链的其他位置的孢子变成单体的概率是/因此，由期望值的 
加法定理可知：从一条链断裂后所产生的单体的个数的期望值为 2/^+6#. 类似 
的推理 可知： 产生的双体的个数的期望值此处 g=l — A 类似地， 
€ 2 = 2(f p ~\~ iq z p 2 . 衍生物总数的期望值为 ei+e 2 … +es = 1 + 7/>. (这不需 

计算就可显然看出，因为断裂的期望值是7/>，而每断裂一次就增加一个衍生物 .） 

从总数为 N =907 条链中的7251个孢子的实地观察值（其中有5个孢子未发 
现).如果我们的概率模型可用，就近似地有 ： (l + 7 p ) N =7251, 或者户 = 0.168. 
(这个推理依赖于期望的直观意义，它已被大数定律所证实 •） 衍生物的观察值人应 
该接近于期望值 Net . 如表 9-3 所示，不相符的情况没有出现，因此没有理由否定 

我们的模型. ► 


表 9-3 例 （ f ) 中大小为 it 的衍生物的观察值 /* 和期望值 



9. 4方 差 


令 X 为一个具有分布 {/( A )} 的随机变量，且令为一个整数 • 如果随机变 
量 Y 的期望值存在，即 

E ( X r ) = Sx J r /( x > ) (4. 1) 

存在的话，则称它为 X 的 r 阶矩.如果级数 （4.1) 并不绝对收敛，则说 X 的 r 阶矩 
不存在.因为丨 Xl^^jXlr + l ， 故 r 阶矩存在时， r — 1阶矩也存在，从而前面的各 

阶矩都存在. 


1. 此例取自考克斯 （ D . RCox ) 1961年在伯克贝克 （ Bireck ) 学院的受职演说.可参看 [58]. 
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在一般理论中，矩有重要的意义，然而在现在这一卷书里，我们仅仅用到二阶 
矩.如果二阶矩存在，当然均值 


fji = E ( X ) (4.2) 

也存在.于是，我们很自然地引进随机变量与其均值之差 X —#来代替随机变量 x • 
因为 Cr —^) 2 < 2 ( x 2 + 〆 ）， 故 ECX 2 ) 存在时 X — p 的二阶矩也存在.我们有 

ECCX -^) 2 ) - 2(4 —2/ ir )+" 2 )/(々）■ (4.3) 

把右边分为三个单独的和，于是得到4式 ECX 2 ) —— /A 

定义设 X 为具有二阶矩 fXX 2 ) 的随机变量，且令 "二 £： ( X )为其均值 * 我们 

定义数目 

Var ( X ) = E (( X -^) 2 ) = E {^)- fx z (4.4) 

为 X 的方差.其正的平方根（或者 0) 叫作 X 的标准差. 

为简单记，我们常常说一个分布的方差，而不说及随机变量.“离差”是现在通 

常采用的术语“方差”的同义词. 、 

例 （ a ) 若 X 各以1/2的概率 取值士 c •，则 Var ( X ) = c 2 . 

( b ) 若 X 为一个均匀骰子上面所刻的点数，则 Var ( X ) = | ( I 2 + 2 2 +…+ 6 2 ) — 
(_ Z _)2 = 35/12. 

( c ) Xif " 于泊松分布来说，其均值为 A [参看第 3 节例 （ b )]， 因此其方差为 

Ylk 2 p (, k ', X ) — A 2 = ^^ jkpik —1 ； A ) — A 2 = A 2 — 1) pik — 1;/0+ pik _ 1; A ) — A 2 = 

A 2 + A — A 2 = A . 在这个例子中，均值与方差相等. 

( d ) 对二项分布来说[参看第3节例 （ a )]， 经过类似的计算得出其方差为 

T , k 2 b ( k ； njp ) — ( np ) 2 = npT , kb ( k — l } n ~ l , p ) — ( np) z 

= np { in — _ (, np ) 2 ~ npq . ^ 

方差这一概念的用处是逐渐地会显现出来的，特别是与和极限定理（第10章） 
联系起来的时候.在这里我们会看到：方差是 松散度 的粗略 度量. 事实上，如果 
Var ( X ) = S ( x ; — p ) 2 /( A ) 较小，则和中每一项都较小，从而对应于“使丨 A — " I 较 
大的” 的概率/(々）较小.换言之，在方差小的时候， X 与 p 之大偏差是不概然 

的.反过来，方差大时，则 X 的可能值不会完全落在其均值附近. 

读者们可以用下面的力学解释来帮助了解 _ 假定一个单位的质量分布在工轴上，使得在 
点％集中了质量/ (々），于是均值 / i 就是重心的横坐标，方差就是转动惯量.显然，不同的 
质量分布可以有相同的重心和相同的转动惯量，然而众所周知，很多重要的力学性质可以用 

这两个量来描述. 

如果 X 代表一个可以测量的量，例如长度或者温度，则其数值依赖于原点及测 
量单位.而原点与单位的改变就意味着把 X 变化到一个新的变量 aX +6, 此处 a 和6 
都是常数.显然， Var ( X +6)- Var ( X ), 因而 
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Var(aX-\~b) = a 2 Var(X). (4.5) 

原点及测量单位的选取有很大的任 意性. 不过通常选取均值作原点，标准差作测量 
的单位则是较方便的.我们在第 7. 3节中已经这样作了，当时我们引进了正则化成功 

次数 sr —般地，如果 x 有均值"与方差 cr 2 ( c 7> o )， 则户的 

均值为0,方差为 ( T 2 , 因此随机变量 

X* = U>0) (4.6) 

之均值为 0 方差为 1， 它叫作 X 的正则化随机变量. 在物理学家的语言中，从 X 变 

到 X # 解释为引进无量纲的量. 

9.5 协方差•和的方差 

设 X 与 Y 为同一样本空间中的两个随机变量，则 X + Y 与 XY 仍然是随机变量. 
它们的分布可以从 X 和 Y 的联合分布经过一些简单的运算而得出，我们现在的目的 
是计算 V ar ( X + Y ). 为此我们引进协方差的概念.它将在第8节里详细地进行分析. 
如果 X 与 Y 的联合分布为，:^) } ，则 XY 的期望值由 

(5. 1) 

所给出，当然，假定右边的级数是绝对收敛的，由于1心％|<(4+34)/2,故当 

£：(：^)，£：(铲）存在时， £ XXY ) 也存在.这时，期望值 

^ = E(X) ,fx y - E(Y) (5.2) 

当然也 存在. 而且 X — 心， Y —内之均值都是0,至于它们的积，由第2节的加法规 

则，有 

E(iX —pL x )(Y —fi y )) = E(XY) — (Y) — ^E(X) + fx x fj. y (5. 3) 

= E(XY) — 

定义 我们定义 

Cov(X,Y) = E((X — fi x )(Y — 内）） = E(XY) — ju x juiy (5. 4) 

为 X， Y 的协方差.当； C 和 Y 有有限的方 差时， 这个定义是有意义的. 

从第2节中我们知道，对相互独立的随机变量来说，有 E ( xr )= JE ：(；0£：00, 

因此由（5_4)，有 

定理 1 如果 X ， Y 相互独立， 则 Cov(X ， Y)=0. 

注意其逆 不真. 例如，阅看表 9-1 便知，那两个随机变量是不独立的，但是 

它们的协方差为 0. 在第8节我们还要回过来讨论这一点.下面的定理是很重要的， 

对独立的随机变量来说，加法规则（5, 6) 仍然成立. 

定理 2如果兄 ，…， X 为具有有限方差 …， d 的《个随机变量，且令 S „ = 

Var(SJ = (5.5) 

iik 
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此处最后一个求和包括了 对(足，足）且 

特别地，如果 I 相互独立，则给出了加法 规则： 

Var ( S „) = d+d + …+义 (5.6) 

证令"( X *)，饥„=妁 + … +"„ = E ( S „) ,则 S n — m „= 2 (兄 一 内）且 

(S„ — m„) 2 — 2 (X k 一 fx k Y + 2^] (Xj — fXj^iXk — ju k ) (5. 7) 

把 （5.7) 两边取期望值，然后应用加法规则即可得出 (5.5). 卜 

例 （ a ) 二项分布 . 在第3节例 （ a ) 中，足是相互独立的.我们有 
K (, Xl ) == 0 2 • q ~\~ l 2 • p = p ^ E (, Xk ) = pi 因此 ， <A = P — p 2 = pq . 且从 （5.6) 得知二项 
分布之方差为 在第4节例 （ d ) 中，用 直接计算的办法已经得出过同样的结果. 

( b ) 具有可变概率的伯努利试验. 令兄 ，不 ，…， 尤为相互独立的随机变量， X k 
分别以概率 h 和 W = l — 九取值1和0,于是 E { X k )= p k , Yoi { X k ) = p k — p \ = p k q k . 
再令 氏=足+ … +尤， 从 （5.6) 我们得到 


Var(S„) = 2 PkQk> (5.8) 

k= 1 

如第1节例 （ e ) —样，随机 变量氏 可以解释为《次独立的试验成功的次数，每 
一 次试验的结果或者成功或者失败.于是/ >=( A + …久)/«是其成功的平均概率，很 
自然地，我们要把现在的情形和具有固定成功概率/>的伯努利试验 比较. 这样一种 
比较可以得出一种很好的 结果. 我们可以把 （5.8) 写为 V ar ( S „) = ；2 p — 其次， 
容易看出（用初等的计算或者简单的归纳法），在全部满足2 A = 的组{九> 中， 
当所有的九都是相等时，达到它的最小值.由此推出，如果成功的平均概率夕 
固定，则当 A 二久二…二九二, 时， Var ( S „) 达到最 大值. 因此， 我们得到了 一 个很 
好的 结果 ： A 的可变性或者缺少不一致性减小了其随机起伏性 1 (用方差来衡量的） • 
例如， 一 个城市中一年的火灾可以考虑为一个随机变量，对于一个给定的平均数， 
如果每一户发生火灾的概率都 一样， 则火灾的变化性达到 最大. 给定 n 个机器的某一 
质量平均 如果全部机器都一样，则产品最不 一致. （把它应用到近代教育中去是 
明显的但是没有什么用处 .） 

( c ) 合牌. 一 副具有 〃张标 有号数的纸牌随机地排列，于是《!种排列都是等概 
率的.相合（牌在它们自然的位置）的数目是一个取值为0，1，…， n 的随机变量 S „， 
其概率分布已经在第4章第4节中推导过 • 由它的分布我们可以得出氏之均值与方 

差.不过下面的方法较简单而且很有启发性. 

我们定义一个随机变量 I ，其所取的值为1或0，当号码为々的牌在第々个位置 
时兄为1，反之兄为 0. 于是\ =兄+…每一张牌都以概率1/«出现在第务 
个位置.故 P {^ = 1} = 1 Aj 而 P {^ = 0} = (n —1)/ 〜因此 £(； G ) = l / w . 由此可知 


1. 更强的结果参看 [59]. 关于泊松分布的逼近，请参见第 1.6 节例 （ b ). 
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E(S r ) 


rb 




， Var(S r ) 








一 1 




b^r g~ 1 


b + g 7 ib + g 、 

在有放回的抽样中，我们仍有同样的均值，但其方差稍为大一点， 

rbg/ (b+g) 2 . 


(5. 14) 

其方差为 

► 


9.6 切比雪夫不等式 1 

曾经指出过，小的方差表示与均值的大偏差是不概然的.这一事实由切比雪夫 
不等式而变得更精确了.这个不等式是一个很有用而且很方便的工具.它预先假定 

二阶矩存在. 

定理 对任何 c > o , 有 

P{ \ X \ >t} ^t^ECX 2 ). (6.1) 

特别地，若£： ( X ) =" ，贝 ij 

P{ \ X-^jl < r 2 Var ( X ). (6.2) 

证明 第二个不等式可由第一个不等式通过将 X 替换为 X — p 得到. 利用第4节 
记号可得 - 


P{ \ X |> ^} = H/( ： c ; ) < r 2 H - ( 6 . 3) 

U ; \ ^t \ '^t 

式子和式小于等于 £( X ) 2 ,（6.1) 得证. '► 

把切比雪夫不等式作为一个理论工具比作为估计的实际方法要恰当一些_其重 
要性在于它的应用普遍性.但是不能希望很普遍的命题会对一些个别情况给了深刻 

的结果. 

例 （ a ) 令 X 为掷一颗均匀的骰子所得到的点数，则"= 7 /2，/= 35 /12[参见第 4 
节例 ( b ) lX 与^之最大偏差为 2. 5〜3分2. IX — 大于这个偏差的概率为0,然而切 

比雪夫不等式仅仅断定这个概率少于 0. 47 . 

( b ) 对二项分布 {^(々;《， P )} 来说，我们有/[参见第5节例 （ a )]. 

对于大的 w 我们知道 

P{ 1 S„ — np 1 > x \fnpq } 々 1 — %(x ) 十 ％( — x). (6, 4) 

然而切比雪夫不等式只 指岀： 左边小于 1/ P _ 显然，这较之 （6.4) 来说是一个多么 


粗糙的估计. 
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作为更精湛的方法的一个例子，我们证明： 


L P. L. Chebyshev (Hebbimes » 1821 〜 1894)- 
* 本节处理特殊主题，初读者可略去- 
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令足 ，…，又为 相互独立的，具有期望值/4=£(兄）及方差 g 的随机变量•令 

氏=兄+…+兄， (7. 1) 

且 

- h /^， （7.2) 

s 2 k = Var ( S ^) =^i H - \~ a 2 k . 

对每一个 Z >0， 下面《个不 等式： 

I S k — m k I < » 务 =1，2 , …， n (7.3) 

同时成立的概率至少为 1 — r 2 . 

当《=1时，这个定理化为切比雪夫不等式.对《>1的情形，切比雪夫不等式只 
对每个单个的关系 — 的概率给出了一样的界.故科尔莫戈罗夫不等式是 

比较强的. 

证我们要估计不等式 (7.3) 中有一个不成立的概率 _ r . 定理 断言： x < r 2 . 
定义 n 个随机变量 Y v 如下.如果 

I S v — m v \ ^ ts n , (7. 4) 

但 

| — ! < its n 对々=1，2,…，1， （7.5) 

则 y „= i . 在其他一切样本点上， y „= o . 即是说， I 在那些使得不等式 （7.3) 中 
第^个不等式为首次不成立的样本点上为 1. 于是在任一特定的样本点上，诸 I 中 
最多只有一个为1，从而1+丫 2 + — +八只能取值0或者1，当且仅当 （7.3) 中的 
不等式至少有一个不成立时它才为 1. 因此 

■r = +-+ y „ = 1}. (7,6) 

因为1+…+八为0或者为1，所以 EK 1. 两边乘以 （ S „ — m „) 2 以后再取期 
望值，我们得到 

n 

X ]£ XY *( S „ — m „) 2 ) < s 2 n . (7.7) 

为了计算左边每一项的值，我们令 

n 

U k = ( S „ — m n ) — ( S k — m k ) = ^ ( X v — (7. 8) 

-u— jH-1 

于是 

E ( Y k ( S n - m n ) 2 ) - E ( Y k ( S * - m , ) 2 ) + 2 E ( Y k U k ( S k - m ,)) + E ( Y k Ul ). (7.9) 
然而 K 只依赖于 X i +1 ， …， ，而只依赖 于1 ，…，兄.故 R 与 l ( S A — 叫）相 
互独立.因而 /^))=£(1(5*-；^))£：0^) = 0 [因为 £ XUJ =0]. 故由 

(7.9) 推出 

E ( Y k ( S n - m „ ) 2 ) ^ E { Y k { S k ~ m k ) 2 ). (7. 10) 

但是只有当 I Sf 时， Y ^ O . 故从而综合 （7.7) 和 

(7. 10) 我们得出 

5 2 „ > t ^ lEiY , H —— hY „). (7.11) 
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因为 Y\ + …+1或者为0或者为1，故右边的那一个期望值等于 （7.6) 中所定义的 
概率二因此这就完成了我们的证明. ► 

# 9. 8相关系数 

令 X , Y 为任意两个具有均值/^，内和正方差的随机 变量. 我们引进如 
(4.6) 中所定义的对应的正则化随机变最 x * 它们的协方差称为 X , y 的相关系 

数，且以符号， x , y ) 表示.利用（5.4)，得到 

p(x,y> = cov(x* ,y* > = (B. l) 

显然，相关系数是不依赖于原点与测量单位的，也就是说，对于任意常数 
a ” b ” b t (其中 ai >0， a 2>0) 都有 〆 〜又+乂 ， a 2 y +6 2 ) =(0( X ， Y ). 

使用相关系数，无非是给协方差的书写来一个花样罢了 1 • 很不幸，相关系数并 
没有“相关， ，这个 词儿所暗示的 涵义. 从第5节我们知道， 当； 相互独立时， 
|0 ( x , y )= o . 但是应该知道，其逆命题是不成立的.事实上，甚至当 y 是 x 的函数 

时，相关系数|0(叉，>0也可能为 0. 

例 （a) 令X各以1/4的概率取值±1，±2，且令 YzX 2 . 联合分布为/ >( — 1，1) 
=/>(1»1) — /?(2,4)=/)( _ 2»4) = - ^ - .虽然 Y" 对X有直接的函数依赖性，可是由对称 

性的缘故仍然有 # x ， y )= o , 

( b ) 令 u , v 为相互独立的具有共同分布的随机变量，且令 x = L /+ v , y = u - v . 
于是 EC ^ OOcEO / 2 )— 瓦(\^)，£：(10=0，故 Cov ( m =0， 从而 〆 X ， Y )=0， 例如 
X ， Y 可以分别为两颗骰子的点数之和与差，则 X ， Y 或者同时为奇数或者同时为偶 
数，所以是非相互独 立的. 

由此推出，相关系数并不表示 x 和 y 之间的依赖性的一般 度量. 然而 〆 x ， y ) 与 
X 和 Y 的线性依赖性是有关的. 

定理 我们总有 l !0( X , Y )|< l ， 而且 〆 m = ± l ， 仅当存在常数 a 和 6 使 

恒对或稍弱一点，除去 X 的一个零概率集此式成立 才行. 

证令； r , y * 为正则化随机变量，则 

Var(X* ±y # )=Var(X # )±2Cov(X%Y* ) + Var(Y*) 

= 2(1 士 〆 X ， Y)). (8.2) 

左边不可能为负，所以 k(X，Y)|<l. 若〆 X，Y) 二1，贝 IJ 必有 VaKX*—YM =0, 这 

意味差； r — y * 只能取一 个值. 即是 y *= 常数 • 故 y == ax + 常数，此处 

a y ! a x . 用同样推理可以证明〆又，10 = — 1的情形. 


* 本节处理特殊主题，初读者可略去. 

1. 物理学家把相关系数定义作“无因次的协方差 
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9. 9 习 题 

1. 7个球随机地分布在7个盒中.令 X 为恰巧包含；个球的盒数.应用第 2. 5节中所列出 
的概率，写出 （ X 2 ，兄）的联合分布. 

2. 掷两颗均匀的骰子.令 x 为第一颗骰子所出现的点数，而 y 为两颗骰子中所出现的点数 
的最大者 .（ a ) 写出 （ X ， Y ) 的联合分布 .（ b ) 求出均值、方差、协方差. 

3. 把一个硬币扔5次，令 X ， Y ， Z 分别为正面出现的次数、正面连贯的个数和最长的正面连 
贯的长度.试把32个样本点和其对应的的值在一起列一个表，而且用简单计算 
导出 （ X , Y ),( X , Z ),( Y , Z ) 之联合分布及 x + Y , xy 之分布.求出这些随机变量之均值， 
方差，协方差. 

4. 设随机变量 X ， Y 和 Z 相互独立而且具有共同的几何分布 求出： 

( a ) p { x = y },( b > 和 ( c ) p { x + y < z }. 

5 . (续上 题).令 L / 为 X 和 Y 中较小者， v = x - y ? 试证 u 和 V 相互独立 1 _ 

6- 令久！和久 2 是分别具有泊松分布和{ 〆 々☆)}的相互独立的随机变量. 

( a ) 证明兄 + X 2 具有泊松分布 

( b ) 证明， 给定的条件下兄的条件分布是二项分布 ，即： 

P{Xi = ^ i Xi + X 2 = n } = b ( k ； n * ). (9. 1) 

A 1 ~ T ~ A 2 

7. 令兄和不相互独立且具有共同的几何分布 { gY } (如习题 4). 不必计算，直接证明在 
给定兄+兄的条件下兄的条件分布是均 匀的，即是 

P { X Y =k \ Xx + X 2 = n } = -^ 7 , 6 = 0，1，…，打， (9.2) 

w 十丄 

8. 令兄 ，…， 兄 为相互独立的随机变量，每一个都 具有均匀分布 P { X l ^ k )= ji，k = l , 

2,…， JV . 令 IX 和分别 I ，…， X 中之最小者和最大者.求出 K 和 K 的分布.它和 
估计习题第3节例 （ e ) 的联系是什么？ 

9. 第 3 节例 （ e ) 中估计问题的 继续. 

( a ) 求出最大和最小观察值的联合分布.特别，«=2. (提 示： 首先计算 

( b ) 求出在条件 X = r 下最初两个观察值为7和々的条件概率. 

( c ) 求出 fXX 2 )， 从而找出 VaKX ) 当 JV — co 的一个渐近表示式 （ n 固定) • 

10. 模拟均勾硬币.给定一 个出现正面的概率为 a 的不均匀硬币.如下模拟一个均匀硬币： 
扔此不均匀硬币两次，把出现 HT 或 TH 视为出现正面或反面 • 如果此两事件都未出现， 

则一直扔下去直到出现为止_ U ) 证明此模型导出一个具有/=+的伯努利试验列. 

( b ) 求出现一个 HT 或 TH 所需的扔钱次数的分布与期望. 

11. 第 6.8 节例 （ a ) 的巴拿赫火盒问题 • 证明分布的期望为： ^=(2 N + l)uo — U 用斯 


1. 几何分布是取整数值的概率分布惟 一一 个具有上述性质的分布.可参见 [60]. 


特林公式证明它近似地为 2 1. (当 iV =50 时，其期望大约为 7. 04, ) 

(提示：运用下个等式 ( N — ")仏=~^(2]\/+1)«^1 — ■(广 hDw ^ i , 运用 事实 1 2^ = 1) 

12. 抽样验收.假定一批产品中废品率为而每一件被抽出来受检验的概率为 〆 .因此， 
我们可以把全部产品分成四类，即是“接收了而且进行过检验”，“接收了但是没有进行 
过检验”，等等，其对应的概率分别为/^，/^，/^，卯、其中 —= 1 — 〆 _因此 
我们得到一串双重的伯努利试验[参看第 6. 9节例 （ c )]. 令 N 为发现第一件废品以前通 
过检验台的产品的件数（可以是真正检验过的，也可能是没有检验过的•）， K 为其中没 
有被发现（没有检验）的废品的件数.求出 iV 和 K 的联合分布及边缘分布. 

13. (续上题 )* 求和 Cov ( K ， N )_ [在实际工业生产中，被发现的废品将要用合格 
产品去代替的，因此， K ：/( iV + l ) 是其中废品的比例，它测量了这一批产品的质量，注 
意：与 £ UO /£( N 十 1) 不一样], 

14. 在一串伯努利试验序列中，令 X 为从第一次试验开始的连贯（成功连贯或失败连贯）的 
长度， （ a ) 求出 X 的分布和 E ( X )， Var ( X ),(6). 令 Y 为第二个连贯的长度，求出 Y 的 

分布和 £( Y ) ， VarOO 和 X ， Y 的联合分布. 

1 5 . 令有公共的负二项分布，求条件概率并 证明： 第2章 （12.16) 
式现在不用计算而显然可得 2 . 

16. 如果 X ， Y 这两个随机变量中的每一个都只取两个值，而且 Cov ( X ， Y ) = 0, 则 X 与 Y 是相 
互独立的. 

17. 生曰.对一个拥有〃个人的人群，求出一年中恰有々个人出生的那些天数的期望值 •（一 
年取365天，而且一切排列都是等概率的 .） 

18. (续上题).求出重复生日的天数的期望值.问 n 为多大时才能使这个期望值超过 L 

19 - 有一个人想开门.他共有〃把钥匙，可以这样设想，他用它们去试开门时所抽取的钥匙 
是相互独立的而且是随机的.求出试验次数的均值与方差 • （ a ) 如果以前选出来的开不 
开门的钥匙不除去 •（ b ) 与 ( a ) 相反.（假定只有一把钥匙能打开这扇门 • 精确分布在第 
2. 7节中给出了，但现在这个问题并不要求精确分布 .） 

20 •令 （ X ， y ) 为随机变量，其分布为 （1.8) 所给出的多项分布 • 求出 £( X )， Var ( X )， 
0^(叉，7).(&)直接计算*化）把 X ， y 都视为 n 个随机变量之和，并应用第5节的方法- 

21. 把一个骰子掷 ”次， 求出么点出现的次数和6点出现的次数的协方差， 

22. 在第6章习题24的关于野兽陷井的问题中，怔明在第 r 次才陷入陷井的野兽的个数的期 

望值为叫 fir 1 . 

23. 如果 X 具有几何分布 P { X = yU =< /户（其中々 = 0，1，…），证明 Var ( x ) = 9 P _2 * 当 r 为正 
整数时，推出负二项分布{/(々;「，/>)}具有方差^/ > - 2 _通过直接计算证明上述事实对全部 
r >0 都对. 


1. 这个事实分析地并不明显，它可以引人 N 进行验证- 

2. 这个推理可以推广到二元以上.参见 [61]. 




32. 随机链的长度 1 .在平面上，有一个由〃个环所构成的链（每一环的长度为一个单位 
长).相邻二环之间的夹角各以1/2的概率取值士心这里 a 为正常数.又假定各夹角是相 
互独立的.链的长度 L 是一个随机变量.我们要证明 

E(Ll) - n l + cosa_ 2cQSa 1-cos^a (9. 3) 

1 — cos a ( 丄一 cos a ) 

不失普遍性，我们可以假定第一个环落在正1轴的方向，第々个环和正: T 轴的夹角 
为一随机变量这里 So =0, S ,= S ^!+ aX ^ 而兄是相互独立的随机变量，且各以 
1/2 的概率取值士 1. 第々 个环在两个坐标轴上之投影分别为 cos ^^和 sin _所以对” 
有 

cos Sit ) 2 + (S sin S k )\ (9,4) 

k—0 k=0 

对 m < n 用归纳法依次地证明 

E(cos S n ) = cos n a^E(sm S n )=0 ； (9. 5) 

E( (cos S m ) • (cos S n )) = cos「 m a • E(cos 2 S m ) ； (9, 6) 

£((sinS m ) • (sin SJ)=cos"~ m a • E(sin 2 S m )； (9.7) 

E ( L ^)- E ( L ^ 1 ) = 1+2 cos a - (9 * 8) 

( i^o = 0) t 从而最后得出（9_3)， 

33. 一 串伯努利试验序列一直继续到出现 r 次成功为止，其中 r 是一个固定的整数 • 令 X 为 
需要的试验次数•求 2 £： (r/X). (定义导出一个无穷级数，但它有有限的表达式 _) 

34 . 在把 r 个球放人 n 个盒的随机排列中，恰巧发现 m 个盒是空的概率满足第2章的递推公 
式 （11.8). 令 w r 为空盒的个数的数学期望值.从递推公式证明 

niHri = (1 — ?7 _i ) m r , 

并且推出 

m r — n(l — ) r . 

n 

35. 令^为《次伯努利试验的成功次数.证明 

E( | S rt — /?/>| 、= 2vqb{v\n ， p 、 ， 

其中 r 为满足 np〈v 的整数， 

提示： 左边= V ^ inp - k ){^) p k q- k . 另外再用第6章 (10.7). 

36 . 令 iX k 、 为相互独立且具有共同分布的随机变量序列.假定兄只取正值而且 

1. 这是化学 中长聚合物分 子的长度问题的二维类似‘在我们的问题中随机变量 L 不能表力简单的随 
机变量的和. 

2. 这个例子说 明随意停止与不随意停止的 区别.如果试验的次数《固定，则成功次数 N 与试验次数” 
之比是一个随机变量，其期望值为 A 然而，在我们的例子中，当成功次数 r 固定，而所需之试验 
次数 X 依赖于偶然性时 ， r 与 X 之比的期望值就不一定是> 了‘例如，/>=1/2时，对我们有 
E (2/ X )-0. 614, 而不是 0.5, 对 r =3, 我们有 E (3/ X ) = 0. 579. 





随机变 量 • 期望值 


E ( X k ) =“和£ ( Xr 1 ) 存在.令 S ,= Xi + …+又_证明 E ( S - 1 ) 是有限的，而且 


E ( X./SJ =丄 

n 

37. (续上题 V ,证明 


对僉=1，2,…，71, 




S, 


，如果 m^n, 


E (^ L ) = l + ( m - n ) aE ( S ~ 1 ) ,如果 


38, 令兄，… ，兄 为相互独立且具有共同分布的随机变量，令其均值为爪，方差为令 X 


(兄十…+兄）/&证明 2 : 


士£：(2(兄一灯）=， 

ft 丄 L _ 1 


39* 令：^，…，兄是相互独立的随机变量，令《7为不，…，不的函数， V 为兄 t +1 ，" •，兄的函 
数 ( k < n \ 证明 U , V 是相互独立的随机变量. 


40. 


切比雪夫不等式的推广 ，令 6( a ) 在 x >0 的地方是一个单调上升的正函数而且假定 
E (必 (| X 1)) 二 M 存在_证明 




M 

Wr 


41* 


施瓦兹 （ Schwarz ) 不等式 . 对于任何两个具有有限方差的随机变量 X 和 Y 来说，都有 
EHXYXEiX 7 ) E ( Y 2 ). 由二次多项式 £：(( rX 十 Y ) 2 ) 非负这一事实证明上述不等式- 


1. 习题37可由习题36推出的意见是由钟开莱提出的. 

2. 这可解释为： 5： ( X ,- X ) 2 / ( n -1) 是^之无偏估计量. 
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10. 1同分布的随机变量列 

在第7章和第8章中所得到的有关伯努利试验的极限定理，是一般的极限定理的 
特殊情况.后者不可能在本卷书中讨论，但是，为了揭示随机变量的期望的新特征， 
我们在此处还是略为讨论一下大数定律的一些个例. 

当我们考虑； T 次伯努利试验的成功次数 S „ 依赖于这 n 次试验时，就较清楚地看 
出伯努利试验与随机变量理论之间的关系.对于每次试验(例如第 n 次），3„较5,,- 1 
增加1或0,故可把 S „ 写成： 

5，,=不+足 + ~+足， (1. 1) 

其中 当第々 次试验出现成功时为1否则为 0. 所以，5„是《个相互独立的随机变 
量之和，其中每一个随机变量分别以概率 P 和 g ( = l — P ) 取值1和 0. 对形如 （1.1) 
的和，可以直接推广到: …⑺) 是具有公共分布的相互独立的随机变量列的场 
合.第 6. 4节的（弱）大数定 律说： 当;1很大时，平均数 S „/» 是倾向于接近的. 
这是下述定理的特例. 

大 数定律设{兄}是相互独立且具有公共分布的随机变量序列.如果其期望 
£( X A ) 存在，则对每个 € >0，当 n — oo 总有 

P {| i ±^ ii -"| >e }，， (1.2) 

即：平均数 SJn 与期望 p 之间的偏差小于任意给定的 e 的概率趋于 1. 

最先对上述一般情景证明此定理的是辛 钦 1 . 该证明加了方差 Var (兄）有限这个 
不必要的条件 2 .而在方差有限这个条件下，我们有下述更精确的结果.它是伯努利 
试验的棣莫弗-拉普拉斯极限定理的推广，而 

中心极限定理 设是相互独立且具有公共分布的随机变量序列，假定"= 

£：( 兄） */= Var ( XJ 都存在，并令艮=兄+… + X ,， 则对每个固定的/?，均有 



(1.3) 


此处汧(: r ) 是第 7. 1节中引进的正态分布函数.此定理是林德伯格 （ J . W . Lindeberg ) C6$] 


L 参见 [65]. 读者还应注意第 6. 4 节末提醒的大数定律与伯努利试验的关系, 
2. 马尔可夫 证明： 对某个 a >0, 有£：(|^^| 1+ °)存在就够了. 
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所证明的.此前，李雅普诺夫 （ Ljapunov ) 和其他作者在更强的条件下证明过此结 
果.必须理解此定理只不过是更一般的定理的特例.这些更一般的定理表述和证明， 
我们在第二卷 B 中才讨论.注意此处 （1.3) 结论比 （1.2) 强_这是因为 （1.3) 给 

出了偏差大于 a /士 的概率的估计值.另一方面也须 注意： 大数定律 
(1.2) 并不 要求兄 具有有限方差，从这种意义上讲，它比中心极限定理更一般.正 
因为这样，我们将给出大数定律的独立证明.不过，我们还是先举几个例子来说明 
这两个极限定理. 

例 U ) 在独立抛掷一个对称的骰子的试验序列中，令 X * 是第々 次掷出的点数. 
则 E ( Xi ) = (1+2+34-4+54-6)/6 = 3. 5, Var ( X A ) = ( l 2 +2 2 +3 2 +4 2 +5 2 +6 2 ) /6 — 

3. 5 2 =||.大数定律的结 论是： 当《很大时，平均点数5„/«倾向于和3.5很接近， 
但中心极限定理的结论是： 

P { | S „ —3. 5 n | <a • (3. 5 n /12) + 況 （ _ a ). (1. 4) 

当 n =1000， a=l 时， P {3450< S „<3550}^0. 68. 当 a = 0‘6744 …时， （1.4) 的右 

方等于所以，粗略地说，乂落在区间3500±36以外和以内是等可能的- 

( b ) 抽样. 设一社区有 iv 个家庭，其中恰有^个小孩的家庭有 M 个 a = o ， i ， …， 
SN ,= N ). 随机选取一个家庭，其小孩的个数是一个随机变量，它取值^的概率是 
p v = N v / N . 一 个有放四抽样的大小为”的样本，就是 n 个相互独立的随机变量，或 
“ 观察值 ’’ 兄 ，…，， 它 们具有相同的 分布. S„/n 是样本均值. 大数定律告诉我们： 
对充分大的随机样本而言，样本均值很靠近于^=2呦这是总体的均 
值.中心极限定理使我们能够估计偏差可能的大小，并能决定可靠的估计所需的样 
本的 大小. 在实际中，//和 < r 2 都是未知的，但是，通常可以易于获得¥的初步的估 
计，且怎能使估计较安全 • 如果我们希望样本均 值乂 / n 与未知的总体均值^之间的 

差异小于&，那么，样本的大小〃应该满足： 

pl S ” — n 公 99. (1.5) 

I n 丄 0 J 

9 JO ) — 9 U —* r ) =0. 99 的根是: r ^=2. 57 …，因此 w 应该满足 ： W /10 cr >2. 57，即 

因此，样本的大小大致可从/的审慎的估计来导出.类似的情况经常 
发生. 基于对大数定律的信赖，实验者才把《次测量值的平均来做未知的理论的期 
望值的估计.这种估计的可靠性，只能用/来判断，而人们通常对 /的估 计是粗 

糙的. 

( c ) 泊松分布. 在第 7. 5 节中，我们曾 发现： 当; I 很大时，泊松分布可 
以用正态分布来逼近.实际上，这是中心极限定理的一个直接推论.假定 X * 具有泊 
松分布{ 〆 *;/)}，则5„具有均值和方差都是 町的泊 松分布把 吩写作 
A ,当 00 ， 有 
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E e— V A ! —沉(/?)， ( L 6) 

点 < A + j 9 瓦 

此处的和号，是对一切小于; 1+ PvT 的 々来 求的.显然， A 按任意方式趋于 CO , (1.6) 
式都成立.这是一个有广泛意义的定理，它在发散级数求和的理论中也有应用，也 
可用于估计 （1.6) 式左右两边的差异. ► 

关于期望不存在的随机变量的附注 

如果期望 "不 存在，则大数定律和中心极限定理两者都没有意义，但是，它们 
可用更一般的定理来替代，这些定理仍然可以提供一些信息.在近代理论中，无期 
望（期望不存在）的随机变量扮演着重要的角色，物理中的等待时间和再现时间就 
是这种类型.甚至在简单的扔硬币的游戏中，都会出现这种情况. 、 

假定 n 个硬币 一一 抛掷. 设 为第々个硬币掷出的累积的正面数与累积的反 
面数第一次相等时的等待时间.则{兄丨是相互独立且具有同分布的随机 变量： 
P { X k = 2 r ) = / 2 r , 其中概率分布由第3章 （3.7) 所定义和氏二兄+…+又的分布 
与第„次“累积的正面次数等于累积的反面次数”出现时的等待时间的分布相同. 
第 3. 7节定理4求出了 S „ 的分布，并且还证 明了： 

P { S „<« 2 x }^2[ l -??( l / yi )]. (1.7) 

此处，我们得到了一个与中心极限定理有相同的特征的极限定理，但此处有 极限分 
布的随机变量是 义 / w 2 而不是 S „/ w . 用物理学家的语言来说， X * 代表同一个物理量 
的独立测量值，定理 断言： 平均值 

随 w 的增加而概率地线性增加.此反常的结果不能作病态情况而除去，因为此处的 
就是许多物理过程和经济过程中的典型的等待时间.极限定理 （1.7) 也是许多无 
期望的随机变量的近代极限定理的典型 . 1 

U 0. 2大数定律的证明 

不失普遍性可设"否则， 代&以 这只不过是改变 一 下符 
号而已.对 (兄) 存在的特殊情形，由第9章 （6.2) 式的切比雪夫不等式有 

P{\S„\>t)<^, (2.1) 

£ h - 

取？=€«，则上式右边当 OO 时趋于 0. (1. 2) 得证. 

对二阶矩不存在的情形，证明较难.此时，可用截尾法而化为前述情形.此法 
在证明各种极限定理时是一种标准方法.&为即将要定义的常数对每个 W ， 定义一对 

1 .类似的无期望的随机变量的大数定律，可参见 10, 4 节和 10, 8 节习题 13. (1.7) 的一些令人惊奇的 
推论，在第 3 章中曾详细讨论过 • 
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随机变量 如下： 

U k = X k = 0,当 I ， 
u k = 0 ， v k = x k 当丨兄|>权 
此处6 = 1，…， W 记住 R 与 W 对 W 的依赖性.由此定义有 

x k = u k + v ki 

为证大数定律，只需证明任给 e >0, 可取 常数心 使得;2 时有: 

P { 邮 +-+ L /„ |>^«}—0 
和 

P { \ v { + … + V ^ 丨打}— 0. 


( 2 * 2 ) 

(2.3) 

(2.4) 


(2.5) 


令弋所可能取的值为:^，心， … ，且其对应的概率为/(七）.令<2 = £(丨弋丨），即 
是 


a ^ 2 I I /( A ) 

随机变量 k 上界是如，因此显然有^ 

E(Ul )<Cadn. 

又因为 w ，…， k 相互独立且具有同分布（以后简称独立同分布），所以 

VaKLA + … +R ) = nVarCtA ) <77£ ： (17? ) 如 2 

另一方面，由 R 的特殊定义，当《—00时 

E(U k )^E(X k )=0. 


由此推出：当〃充分大时 
由于 


£(0^ + …十 l / J 2 )<2 a 如 2 


P { 狀 H - hC 7« | 〉+€??}>与^， 


( 2 . 6 ) 

(2.7) 

( 2 . 8 ) 

(2.9) 

( 2 . 10 ) 

( 2 . 11 ) 


所以 （2.4) 式为第9章切比雪夫不等式 （6.1) 的直接变形. 

取谷充分小使得上式右边达到我们所需要的那样小.所以（2_4)成立. 

至于（2.5)，要注意由第1章基本不等式 （7.6) 有 

+ …户{尹0}. (2. 12) 

对任意的3>0,有 

PiV, ^0} = P{\x 1 \>8n} XI /(A) 

I oc s \ n 

< 土 2 I x j \ f ^ x j ^ (2,13) 

o n u ; i> 如 

而 （2.13) 的右方的级数当 n — ⑺时趋于0，因此 （2.12) 的左方当 "—oo 时也趋于 
0. 此结论比 （2.5) 还强.定理 证毕. ► 
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10. 3 “公平”博弈论 

为了进一步分析大数定律的含义，我们将使用人们久已习惯的赌博中的术语， 
但我们的讨论可以用到许多有意义的问题中去，而且我们的两条基本假设在统计和 
物理中，较之在赌场中更有实际 意义. 第一，我们假定赌徒 的赌本无穷， 因而不论 
输掉多少，赌博仍能不休止地进行下去（如无此假设）则要考虑赌徒的“破产（输 
光)”问题.概率论的研究者早就对此问题很感 兴趣. 在瓦尔德的序贯分析中，在 
本书第14章的随机过程的理论中，此问题都极具重要性，第二，我们假定赌徒无 
权随意终止赌博.试验的次数 n 必须事先固定而不 依赖于赌博的进程. （实 际上， 
一个拥有无穷赌本的赌徒，能够等得到一个幸运的连贯并在有利的时刻退出赌博 • 
他感兴趣的不是指定的时刻的不确定的状态，而是发生在长连贯中的最大的起伏. 
处理此类问题，与其用大数定律不如用迭对数法则更为有效.有关内容请参见第 
8. 5 节 .） ► 

设某赌徒参加同一种方式的赌博，& (可正可负）是他第 々次试 验中获得的赢 
利.则和 S „ =足+…+足，是他在?7次独立试验屮所获得的累积贏利.设赌徒在每次 
试验中均需付入场费 〆 （不一定是正的），则是累积入场费，而 S ”一 n〆 则表示 
净累积赢利. 当"=£：(兄)存在时，大数定律可以应用. 粗略 地说，对于充分大的 《， 
差5„ —多半要比《小得多.因此，若入场费 〆 比"小，则当》很大时，该赌徒大 
约有其 阶为” ( f〆 ） 的正的赢利.同理，若人场费 〆 >屮该赌徒实际上最终会输. 

简言之，对赌徒 有利， 而 〆 对赌徒 不利， 

注意：上述讨论并未涉及 〆 时的情况.对此情况，惟一可能的结 论是： 对充 
分大的《，累积赢利或损失艮一，#相对于《来说要小的概率非常大，但并没有说 
Sn _ WA £ 多半为正还是多半为负.这就是说，此赌博究竟是有利还是不利_在古典理 
论中，称“//= 〆 ，为公平价格而称满足 W 的博弈为“ 公平” 博弈. 此名称并 
不妥当，且由它造成了许多错觉.必须了解： 一个“公平”博弈，可能对博弈一方 

有利也可能不利. ► 

在赌博游戏和其他简单场合，随机变量兄的二阶矩是存在的，“公平”性的概 
念可以验证，但是，当方差是无穷大时，“公平博弈”变得毫无意义.没有理由相 
信： 净累积赢利 — « /会 围绕着0 起伏. 事实上， 有这样的 “公平” 博弈的例 
子⑹： ， 博弈一直净输的概率趋于 1. 大数定律 断言： 此净输的大小的阶大约比》的阶 
小.然而，其他结论就没有了.假设〜是任意一个满足〜/”—0的序列，可以构造 
一个“ 公平” 博弈， 在第〃 次试验其净累积输款 超过〜 的概率趋于 1. 习题15 中包 
含了一个例子，在那个例子中，博弈者事实上必输无疑而且其输款超过 《 /log «.此 
博弈是公平的而且人场费是 1. 很难想像，一个博弈者，其输款实际上稳定上升时， 
他还会认为博弈是公平的. 
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如果把这种现象作为病态的或没有现实重要性的个例而排除之，那就错了.把 
期望不存在的随机变量排除掉，已经在应用中造成了很大的危害，因为这类随机变 
量即使在最简单的随机过程中，都扮演着必不可少的角色.例如，在第3章讨论的， 
作为许多随机过程的原型的、简单的随机徘徊（或扔硬币的游戏).如第3章中所证 
明的，对此类随机徘徊，其等待时与初过的期望就不存在，因此，关于随机起伏的 
课题中就有病态和与直观不符的现象.这类错误的直观，与许多近代概率论的应用 
中受下列两种错误观念的强烈影响是一 样的： 一是传统的不当的理解大数定律，二 
是关于所谓“平均律”的似是而非的解释.在古典理论中，数学分析不可避免地渗 
杂者经验主义与形而上学的考虑，而且某些东西坚持用各种极限定理来处理、这也 
变成了一种传统. 

现在，让我们回到“正常”的情形：不仅 £( 兄）存在，而且 Var (不）也存在 • 
在这种情况下，大数定律是中心极限定理的一个附属推论.中心极限定理告诉我 

们：对 “公平”博弈而言，长连贯的纯赢利 士 一 n " 的大小的阶与 ▲ 差不多，而对 
充分大的》，此纯赢利是正的和负的差额大致相等.因此，当应用中心极限定理时， 

“公平”被证实了，但是，即使在这种场合，我们还是用强调“长连贯” 一 词的方 
法来用极限定理处理它. 

为了直观起见，考虑一台“吃角子的老虎机” • 赌徒每赌一次要付出 〆 =1元 
的入场费，但也有 10— 6 的概率贏得 10 s — 1元.此处，我们有一个伯努利试验，而 
且是“公平”的博弈■在1 000 000次试验中，赌徒付出的仅仅是这1 000 000次的 
入场费，而他可能博得0，1，2…次“红彩由二项分布的泊松逼近 可知： 具有好 
几位小数的精确度，他博得々次“红彩”的概率为 e _ V 々!. 因此，赌徒有 0.368 的 
概率输掉1 000 000 元； 有同样的概率略贏一点点；有 o . 184的概率恰赢1 000 000 
元，……等等，此处， 10 s 次试验等价于一个赌博中的一次单独的试验，其贏利服 
从泊松分布，这种赌博在实际中是可行的，例如，像第 4. 4节中所描述的，两桌很 
多的牌的相合的 问题. 没有人相信，在三四次相合之后，大数定律具有实际的可操 
作性.同样的道理，除非进行了数百万次赌博，把大数定律应用到“吃角子的老虎 
机，， 中去，否则也是没有意义的.目前，火灾、车祸和其他类似的保险，都属于这 
种 类型. 赔偿费非常大，但相应的概率非常小 • 此外，投保者每年只涉及一次试 
验，所以试验次数《不可能变得很大，对他而言，博弈必然是“不公平”的，然而 
通常在经济上有好处.大数定律与他毫无关系，而对保险公司来说，它却要进行很 
多次 交易. 由于方差很大，随机起伏是必 然的. 保险费必须定得恰当，以使每一年 
的巨额赔偿费能抵消掉.与保险公司有关的，与其说是大数定律不如说是“破产” 

问题. 

1. 近代概率论的研究者，或许会对下述趋势大感 惊奇： 1934年以后，专家们用纯分析的术语来表达 
概率论中的基本极限定理. 
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*10.4 彼得堡博弈 

在古典理论中，期望这一概念并未从概率的定义中明显地分离出来，也没有关 
于它的数学陈述.因此，期望为无穷大的随机变量引起了很大的麻烦，甚至近代概 
率论的研究者，讨论非常近代化的问题时对它都很陌生.期望为无穷大的随机变量 
的重要性，我们已经在前一节强调过了，在此，给出一个关于这类随机变量的大数 
定律的例子是适宜的.为此，我们引用历史上著名的所谓彼得堡悖论， 

彼得堡博弈的一次单个试验是指：扔一个均匀的硬币直到出现正面为止.如果 
此事件发生在第 r 次抛掷，赌徒获得 r 元收益.换言之，我们处理一列相互独立的 
随机变量，其可能取的 值为： S 1 ,?』 3 , …，相应的概 率为： 2- 1 ,2- 2 ,2^ 3 -.它们的期 
望形式上定义为 S ^/( x 山其中 xfL / UJy % 所以此级数中每一项都是1.所 
以其赢利没有有限的期望，从而大数定律不能应用.现在我们修改博弈规则 如下： 
如果扔到第 iV 次还不能做决定（即前 iV 次都出现反面），那么赌徒什么也得不到. 
新规则显然对赌徒较为不利.但在新的规则下，赢利的期望是有限的.从而大数定 
律可以应用.由此 推岀： 在老的规则下，即使赌徒在每一局都付 N 元入场费，仍然 
比新规则更为有利于赌徒，这对任意一个 N 都对，但是， N 愈大 ，他获得正的收人 
所需之时间愈长，因此，说“有利”的博弈是没有意 义的. 古典理论 断言： 人场费 
// = ^是“公平”的入场费，但近代的研究者很难理解这个“悖论”的含混的讨论. 

适当确定入场费，使彼得堡博弈具有古典意义下的“公平”博弈的一切性质是 
完全可能的，只是这时入场费不能定为常数，而依赖试验的次数.在赌场中，入场费 
是不能改的，由于本金总是有限，彼得堡博弈也是不可 能的. 在期望 〆 =£：(及)>0且有 
限的场合，如果当《很大时，累积贏利 S „ 与累积入场费之比大约为1 (即 S „— & 
的大小的阶大致比4=〃//的阶更小)，则称此博弈是“公平”的.如果£(及)不存在， 
则我们不能令而必须用其他的方法来定义心如果 对每个 6>0， 

K )， (4. 1) 

则称累积入场费为 G 的博弈在古典意义下是“公平”的. 这与大数定律完全类似， 
此处^« = 后者被物理学家的解释为”次独立测量的平均值界于 P 附近，当极限 

定理 （4.1) 成立时，它在数学上和实际应用中的意义，与大数定律无异. 

现在，我们证明 2 ，如 果取匕 = nLogn ， 此处 Log 是以2为底的对数，即 

2^ grt = % 则彼得堡博弈成为古典意义下的“公平”博弈. 

证用第2节中曾用过的截尾法 • 现在定义随机变量认和％以=1，2,…， n ) 如下: 



1. 此悖论伯努利 （1700 —1 7 82)曾经讨论过，伯努利试验就是用他命名的. 

2. 这是广义大数定律的1个特殊情形，用此定理很容易推出 （4*1) 成立的充分必要条件，参见 

[ 68 ]. 


194 第 10 章大数定律 


U k =X k ,V k =0, 当兄 Log ”， 

Uk = 0 , "^ ； = 叉々，当 Xi^>n Log n. 

则 

P{ u^s” 一 11 '>€}^p{ fr/j + … I>ee„}+p{Vi + …+\^#0} 

这是因为，除了右边的事件至少有一个发生，左边的事件不会发生.又因为 

P{V^ +…+\^ 尹 0}<?2 _?{ 兄 〉n Log 


(4.2) 

(4.3) 

(4.4) 


所以，为证（4.3)，只需证明： 

P { |0\ +… + U „ 一 n Log n | 〉en Log n } - ♦ O , (4.5) 

令;^ = £ XLV)，d = Var ( LU , 虽然这些量依赖于《，但对 R ， L / 2 ，…，来说，却是一 

样的.设 r 为满足 rSnLogn 的最大整数，则从而对充分大的〜 

Log n < C//„^Log w+Log Log n . (4. 6) 


类似地， 

… +2 r <2 出 Log n . (4.7) 

因为和认+…具有均值《^„和方差用切比雪夫不等式可得 

p { > u i +…+认, — 印„ \>€ n ^ n ) (4 * 8) 

因为，由 （4.6) 有/^〜 Log /?， 所以（4， 8) 等价于 （4.5). ► 


10. 5不同分布的情况 


到现在为止，我们只考虑了同分布的随机变量序列的 情况. 这种情况对应着同 
一个随机博弈的重复施行.但是，如果随机博弈在每一步都改变博弈的类似，那么 
发生什么情况呢？这是很有趣的问题.现在，没有必要使用赌博的语言了.统计学 
家在应用统计检验时，就会遇到这类随机变量的分布随情况不同而变化的问题. 

为确定起见，设想给定一列（无穷多个）概率分布，对每个〜总存在《个具有给 
定的分布的相互独立的随机变量不， …，; c 假定它们的均值与方差都存在，并令 

^ i k = E ( Xk ) » a \ — VarCXi ). (5.1) 

和氏=不+… + X „ 具有均值和差4 如下： 

m „ H - h "„， ^二^ + …+乂. （5.2) 

[参考第 9 章 （2.4) 和第9章 （5.6)]. 

在相同分布的特殊场合下，我们曾有％ =叩，4 = W 2 . 


如果对任何 e >0, 都有 



s„— 




>6 




(5,3) 


则称序列{^}服从（弱）大数定律. 
如果对任何固定的 a </?， 都有 
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P { a 〈 各 ：％ </?卜卿)—贝 ( a ) ， (5.4) 

^ 71 

则称序列 { XJ 服从中心极限定理. 

概率论的一个突出的特征是：很多随机变量序列{兄}都服从大数定律和中心极 
限定理.特别地，当—致有界时，示即存在一个常数 A ， 使得—切是 
都成立，则大数定律成立.更一般地，大数定律成立的充分条 件是： 

0. (5.5) 

n 

这是切比雪夫不等式的直接推论，并可用第2节第一段中的方法来 证明. 注 意：条 
件 （5.5) 并不是必要的.[参见本章习题 14.] 

关于中心极限定理，已经得到了各种各样的充分条件，但是这许多充分条件下 


的中心极限定理，都被 林德伯 格定理 [69] 所淘汰了.该定 理为： 

对任何 e >0， 考虑截 

尾随 机变认如下： 

U k = 

=X k — fjL k , 当 1 兄 ~fx k 1 

(5.6) 


u k : 

= 0， 当丨兄—〜丨〉， 

如果 OO 而且 


^t.EOJD^U 

Stt k^l 

(5.7) 

则中心极限定理成立 



■ • k t t - * 丄 參 _ t * m . 


如果兄是一致有界的，即是 l ^ l < A ， 则足一内对一切满足条件心> 
之必^^的々成立!，从而 （5:7) 的左端为 1. 因此，林德伯格定理蕴涵了下述定理： 
对相互独立的一致有界的随机变量序列 ( Xd ， 只要 S „— co ， 那么中心极限定理成立. 
已经 证明： 林德伯格条件也是 （5.4) 式成立的必要条件 1 2 3 .证明将在第二卷书中给 

出，那里我们还将估计 （5.4) 两边之差. 

当随机变量列具有同分布时，我们曾经证明中心极限定理比大数定律强_ 
对一般情况，这并 不对. 我们将要看到：满足中心极限定理的随机变量序列并不服 

从大数定律的例子. 

例 （ a ) 令 A >0 为固定的常数 • 令& = ±々 A ， 且取每个值的概率 都是+ (例如， 
扔一个硬币，第 A 次的赌注为此时，且 

2A+1 

4 = l 2A + 2 2 A +3 2A + 〜+ n 2 A 〜^^ p ^ (5* 8) 


1. 原著此处误把々写为——译者注 

2. 参见 [70]. 在此文中，还导 出了： 无期望的随机变量也成立的广义中心极限 定理. 注意：我们此 
处仅考虑独立随机变量.对于非独立随机变量，林德伯格条件既不必要’也不充分_ 

3. 原著此 处为士 不妥 • ——译者注 
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当;1<^■时，条件 （5.5) 成立.因此当 A <^ ■时大数定律成立.我们将要证明对 
它不成立. 

对々=1,2,…，〜我 们有： 所以，当《>(2；1+1)厂 2 时，截尾随机 
变量 U 6 与 X ,恒等，因此林德柏格条件成立，从而 

F ( a< s/l^ Sn</3 }^ </3) ^ (a) * (5 * 9) 

由此可知： S „ 的大小的阶大约为 n A + +， 故当 + 时大数定律不成立.在此例中， 

我们看到了中心极限定理对 A >0都成立，而大数定律只对 A <-| - 才成立. 

( b ) 考虑两个各扔1000次硬币的独立试验序列（或掏空两个各装有1000个硬币的 
袋子），我们考察两个试验中出现的正面次数的差将这两个试验序列的各次抛掷依 
?欠从1到1000和1001到2000加以编号，并定义2000个随机变量足 如下： 如果第 A 

次抛掷出现反面则令足=0，如岀现正面，则当々<1000时令足=1，而当 A >1000 
时， 令 X k = -1. 则 D =^+ … + X _， 而且，当々<1000时"产如当々> 1000时 

ju , = ~ Y ； 而 g 恒等于所以 HD ) = 0， VaKD ) = 500, 从而 D 落在范围±( 5 00广《 

之内的概率大约为況 ㈤ 一災 （一 a ) ，且 D 与“在2000次抛掷中正面出现的次数与其期 
望1000的偏差 S 2 _o — 1000” 是同一数量级. 

(C) 通过下面关于中心极限定理在遗传理论中的一个应用，说明中心极限定理应 
用的广泛性.在第 5. 5节中，我们曾研究过：本质上只依赖一对基因（等位基因）的 
性状.其他一些性状（例如体长），可以认为是很多对基因的总 效果. 为简单起见， 
假定对于每对特殊的基因存在三种遗传型： AA ， Aa 或 aa . 设它们对体长的贡献相应 
为 一 个个体的基因型是一个随机事件， 一 对特定的基因对体长的贡献 
则是一个以一定的概率取值 A ，々，々的随机变量，体长是很多这样的随机变量 
X 2 ，“.， X „ 的总体效果.由于每个贡献皆微小，我们可以假定体长是和数又+…十 
X M , 但 {&} 不一定相互独立.然而，中心极限定理对很大一类非独立的随机变量序 
列也是成立的，而且也有一定的理由把许多随机变量序列{ X *}粗略地作为相互独立 
的来处理.这些考虑可以进一步精确化，此处仅仅用以说明：利用中心极限定理来 
解释许多生物统计性状的经验分布与正态分布很接近 • 这种理论也可以对遗传性状， 
例如子女的平均身高对其双亲的身高的依赖性作出预测 • 这类生物统计的研究，始 

于高尔顿与皮尔逊： ► 


1* Sir Francis Galton ( 1822— 1911); Karl Pearson (1857 — 1936). 
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10.6 在组合分析中的应用 


我们将给出中心极限定理在两个与概率论并无直接联系的例子中的应用. 

(a) 逆序. 在一个给定的排列中，称元素&产生 r 个逆序，如果恰有 r 个下标比 
它的下标小的元素（即按自然顺 序在& 之前的元素）在它之后.例如在 

中，元素4 和七都 不产生逆序， a 3 产生两个 逆序； a 4 不产生 逆序; 
产生两个逆序； <2 6 产生四个逆序.在（〜兩〜七七〜）中，元素 化产生 々一1个逆 
序，逆序的总数为 15. 〜所产生的逆 序数； ^是一个随机变量，而3„ =足+… + X„ 
则是逆序的总数，此处兄取0，1，…1的概率都是1 /L 因此 


一 1 




i 2 +2 2 + …+ ( k~iy / k-i 


k 2 -i 
12 * 


( 6 . 1 ) 


A 所产生的逆序数并不依赖于 A，a 2 ，…，的相对次序，所以是相互独立的 • 
由 （6.1) 有： 

1 + 2+*** + (w 一 1) n{n—\) n 2 0 \ 

^ = - o - = —1 — ~T ( 6 . 2) 


和 


12 ^ 


^ik 2 -l)= 


2 n z + Sn 2 一 5 n 

72 


36 . 


(6.3) 


当 《 充分大时， € S n > n > U ” 所以，林德伯格条件中的随机变量 K 恒等于 X*， 从而 


中心极限定理成立，因此，我们得到下述 结论： 其逆序数落在范围 


之内的 


排列数渐近地为 W (5«(a )-^(- a ))- 特别地， 全体排列中约有一半其逆序数落在 


范围（” 2 /4) ±0. 11#之内， 

( b ) 循环. 每个排列均可分裂成若干个循环，所谓循环，即是在其内部进行排列 
的一个元素组.例如，在 （ a 3 a 6 aia 5 £ Z 2 a 4 ) 中，我们发现〜和 a 3 互换了位置，剩下的 
四个元素在其内部进行排列，故此排列包含两个循环.如果一个元素位于其自然位 
置，则它构成一个循环，故按自然顺序的排列，…，〜）包含的循环的个数与其 
元素的个数相同.另一方面，形如 ( a 2 ， a 3 ，•••，〜，〜）和 ( a 3 ， a 4 ，…， ayA ， a 2 ) 的循环排 
列，其循环的个数都是 1. 为了研究循环，用箭头来指示元素所占据的位置以表示排 
列.例如， 1—344—1 表示： 元素化占据了第3个 位置； 而元素占据了第4个位 
置； 元素 a 4 占据了第1个位置. 因此： 三步就完成了这个循环，这个描述暗示〜在 
其自然位置，即第2个位置.按照这种记号，排列(仏，〜，山，〜，〜，“ 5 ，“ 7 ，〜），应该 
表示为 1—3—4—1 ; 2—5—6—8— 2; 7—7. 换句话说，我们用连续”个决定来构造 1 

个排列（〜，•••，《„). 

我们首先选择位置；由 A 来占据，第二步，在剩下的位置中任选一个给化，如 
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此继续往下做.在第1，第2,…，第 n 步各有— 1，…，1种选择，而且它们中恰有 
一个元素完成一个循环. 

在此结构中，若第 &步完 成…个循环，则令兄=1，否则令& = 0 (在最后一个 
例子中， X 3 =X 7 =X 8 = 1,X 1 =X 2 =X 4 =X 5 =X 6 =0.) 显然， 兄=1 当且仅当〜在 


第1个 位置. 由构造可知：而且是 


相互独立的随机变量列 1 .它们的均值与方差为： 

_ 1 2 — n—k 

n 一是+1’& (” _ 是+1) 2 


因此 

和 



n 


4 = 2 


— k 


{ in-k + l ) 


log n . 


(6.4) 


(6.5) 


( 6 . 6 ) 


5„ =足+…+又是总循环数，它的均值是 w„， 其循环的个数介于 log n + a ^log n 
与 log ” +/? ^ log n 之间的排列的个数近似地为 n ! (9?(|3)— ^(a))- 改进的中心极限定 
理给出的估计更为精确 2 . 


10.7 强大数定律 


(弱）大数定律 （5.3) 断言： 对每个充分大的《，偏差 |S„ —m„| 大致上比”小得 
多.对于伯努利试验，我们曾经指出过（第8 章）： 大数定律不能保证对所有充分大的 
mJ/« 始终 很小. 可能有这种 情况： 大数定律成立，但 |S„_m„|/« —直在有限 
或无穷的范围内摆动.大数定律仅仅 断言： iS„—%|/« 并不经常取很大的值. 

我们 称彳兄 } 服从强大数定律，如果对每个€>0和5>0，都存之一个 N 与之对 
应，使得对每个 r>0， 下列 H~1 个不等式成立的概率大于等于 1— & 

| S „ — m „| <€ ，打 = N ， N + 1 ，…， N + r , (7. 1) 

n 

(7.1) 可以粗略地解释为：对于一切打>队|5„—%1/71始终很小 3 的概率非常大， 


1. 形式上看，的分布不仅依赖&也依赖只要把从《降到1重新编序，就会发现其分布仅依 
赖于其下标.[参见第 11. 2节例 （ e )] 

2. 组合分析中的许多渐近估计是用其他方法导出的，见 [81]. 现在的方法较简单，但应用的范围较 

小.见 [82]. 这一部分可作为特殊的专题，可以略读. 

3 . 在一般理论中，弓1人对应于 { Xd 的样本空间后，强大数定律可解释为 ：I | 概率为1地趋 

于 0. 用实变函数的语言来说，强大数定律所做的论断是几乎处处收敛，而弱大数定律则等价于依测 
度收敛. 
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科尔奠戈罗夫准则.级数 


YAW 


(7.2) 


收敛是相互独立的随机变量序列服从强大数定律的一个充分条件，此处 d AX k 
的方差. 

证令 A , 表下述 事件： 至少存在一个满足使不等式 （7.1) 不 
成立.为证此准则，只需 证明： 对于一切充分大的 u (^>log N ) 及一切。有： 

P { v 4„}+ P { A 出 } + 〜+尸{犬士}<3， 

即是 SfM '} 收敛.因为事件4蕴涵了下述 事件： 对某个满足的" 
有 

| S n - m n |>€ - (7.3) 

由第 9. 7节的科尔莫戈罗夫不等式， 


P { A ,}<4 




(7.4) 


因此 


<4€- 2 2 2 ^ S ^ 


SyS 2 -WS 


^ k _ 


(7.5) 


k-^i 


2 v '^k 


k=l 


这就证明了该准则. ► 

作为一个典型的应用，我们来 证明： 

定理如果相互独立的随机变量序列具有同分布{/( X ,) } ，而 且" =£(兄）存 
在，则 { 兄 } 服从强大数定律. 

此定理显然比第1节中的弱大数定律强 • 由于各自的证明方法均具代表性，我 
们独立地讨论之.本定理的逆定理，可参见本章习题17和 18. 

证我们再次应用截尾法，引进两个新的随机变量序列如下： 


显然是相互独立的. 


u k = x k ， v k = o , 若 I 兄|<是， 
U k = Q ， V k = X ki 若1足1>夂 
下面证明它满足科尔莫戈罗夫准则. 

I X ： I 


(7, 6) 




(7.7) 


简记 


'V 


= 2 I x j I /(:))， 


(7,8) 


- 1 ^ Sx, l <iv 


则由 £( 兄)存在 可知： 级数！]心收敛 • 此外由（7_7)还有 


al^cii ~h2a 2 +3a 3 + ".+私 


(7.9) 


和 


DO O 

^=i K 


k 





k- 


(7. 10) 


r= 


所以 （7.2) 对 {Ud 成立，因为 
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E{U k ) = fx k = 2 ) » (7. 11) 

I 1 <k 

所以从而 （ A +内 十… + A ) 因此，由 { R } 服从强大数定律推知，只 
要 iv 充分大，下列事件的概率大于等于1 一心 


nSU k ~^\<€ (对一切《〉 N). (7,12) 

走 T3TT ： J 

剩下的需要 证明： 代 R 以；^以后，同样的结论也 成立. 显然，为此只需证 明：只 
要 n 充分大， 事件 ri{K=x,} 的概率就可以任意地接近于 1. 这就 是说： {%丨只有 

是〉；V 

有限多个不为 0 的概率为 L 由第 8.3 节的波雷尔-坎特立引理，只需证明级数 
关 0} 收敛.现在来证明此级数收敛.显然 


p{v ”㈣ '5/ (以 


^ rt+l t a 於2 丄 a rrh3 


+1 1 «+2 


■ 斗 ■■■ * * * ^ 


a 13) 


因此 




T^I 

V 




v 


E — < 


V 


定理证毕. 


(7. 14) 

► 


10. 8 习 


题 


1. 证明： 在第 5 节例 （ a) 中当 A <0 时大数定律也成立 _ 当 A> — ^■ 时中心极限定理成立 _ 

2. 试判断对于下列相互独立的随机变量序列大数定律与中心极限定律是否成立？其中 
X k 的分布定义 如下： 

(a) P{；C = ±2M = +; 

(b) P{X t = ±2M=2—( 2 奸 ” ， P{X,=0} = l-2- 2 S 

(c) / (2VX) f P{Xk—0} = 1 — 1 /Jk. 

3. 李雅普诺夫条件 （ 1901X 设对某个固定的冗 >0 有 

42^(1 X, | ⑽ )— 0， 1 

Sm k^l 

试证：林德伯格条件成立 

4 . 设 {^} 为相互独立的随机变量序列，不可取的值共 2 々 + 1 个： 0, 士 L ， ±2L* ， … ，士仏々， 
且取每个值的概率均为 1 /( 2 々十 1)_ 试找出 U 满足什么条件，方可保证 { 兄}服从大数定 

律与（或）中心极限定理 . 

5. 设兄分别以概率仏，办和1一2办取值如，一沿和0,试讨论同样的问题. 

注意：下面 7 个问题都是处理非独立随机变量的是弱大数定律 _ 

6. 在第 5_8 节的习题 13 中，如果第々次扔出的结果是红的，则令兄 =1 ，否则令兄 =0_ 


1. 原著此处为成 w ， 应为 


译者注 
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证明大数定律不成立. 

7. 设 {XJ 是相互独立的具有同分布的随机变量序列，且有均值 " 和有限的方差. 令 = 
兄 +… +X, 试证：大数定律对随机变量序列{^}不成立.如果;^—0,则 { aSJ 服从大 
数 定律.提示： 计算 VaKSi ，…， $)/”■ 

8 . 设{兄}是一个随机变量序列，其中兄只与和見 +1 相依而与其他的 X ,( j 关 k — 1， 
走+1)相互独立，而且 {Var (兄） } 有界，试证{兄}服从大数定律. 

9. 如果对每个〜（；，…，又）的联合分布 使得： 方差有界而所有的协方差为负，则大数定 
律成立. 

10. (续上题）把上一问题中的条件 Cov(X,,XO<0 (对一切 jU ) 代 之以： 当 U — oo 时 
Cov ( X ” X k )^0 一致成立，则大数定律仍然成立. 

11* 如果 | S„ |〈C72 且 Var (S„) Z > an 2 , 贝! j {X } 不服从大数定律 * 

12. 在波利亚罐子模型中（第 5. 2节例 （ e))， 如果第々次抽到黑球，则令兄=1;如果抽到 
红球，则令兄 =0. 则^是 n 次抽取中抽得黑球的总数. 证明： 对{^}而言，大数定律 
不成立. 


13. 设是相互独立的随机变量序列.其中兄可能取的值为 r = 2,3,4, …，相应的概率为 

p r ~c /( r 2 log r ) , 此处 c 取值使 = 试证：如果令 & • n log log ??，则广义大数 

定律 （4_ 1) 成立 _ 

14. 设 { Xd 是相互独立的随机变量序列.^ = ±1的概率为 （1 — 21)/2，又=士2〃 的概率为 
2— 1 . 试证： 对而言，弱、强大数定律都 成立. [注 意： 这说明条件 （5.5) 不是必 

要的 •] 

15. 不利于赌徒的“公平”博弈的例子 • 设在每次试验中赢利的可能值为0,2,2 2 ,2 3 ，*"，贏利 
为 2 k 的概率为 


Pk = 


2 k k ( k -\~ l )： 


(左 >1), 


而贏利为0的概率为= 1 — ^ 1 +如+ …). 赢利的期望为 

"=S2 各 /^ = (l — -^) 十 （-^ — -^) + (-^ — -^) + … = l* 


( 8 . 1 ) 


( 8 . 2 ) 


规定每次试验赌徒需付的人场费为于是〃次试验后，他所得的净赢利（或损失）为 
— 试证： 对每个 e >0， ”次试验后，赌徒的损失超过 （1 一 e )” / Log 2 /i 的概率趋于1， 

此处 Log 2 n 表示以2为底的 对数. 即是要证 

卜1， （8.3) 

^ i Log2 n J 

提示： 利用第 4 节中的截尾法，不过要用 《/ log 2 n 来代替（4_2)中的界〃 Log 证明 
兄对所有纟<〃成立的概率趋于1，并证明 


P { |Ui + … + t /„ — w £ XUi ) 卜 1, 


卜士”娜沿 1 — 


1+€ 

Log 2 n 


(8.4) 

(8.5) 


详情请见 [67]. 
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16. 设{^}是相互独立且具有同分布的随机变量序列，但 X 不具有有限的期望.令 A 为正 
常数， 试证： 在事件列{|又|>八72,7 ? =1，2，〜}中有无穷多个发生的概率为1. 

17. 强大数定理 之逆. 在习题16的假定下， | SU > A ^对无穷多个”成立的概率为 1. 

18. 科尔莫戈罗夫准则之逆.如果发散，则存在方差为 Var (兄 ）=4 的相互独立的随 
机变量序列{^丨，使得对此序列强大数定律不成立.（提 示： 先证明级数1^{|兄丨> 
€ 幻 收敛是强大数定律成立的必要条件 .） 


第 11 章取整数值的随机变量•母函数 


11. 1概 论 


在离散随机变量中，只取整数值々=0，1，2^_*的随机变量特别重要.母函数方法 
促进了对它们的研究.我们将会看到，此方法系特征函数方法的特殊情形，后者在 
概率论中起着重要作用.更一般地说，母函数方法属于在微分方程与积分方程中广 
为应用的算子方法的领域.自棣莫弗和拉普拉斯以来，母函数方法在概率中就有应 
用，但其功效和潜力远未充分发挥. 

定义令〜，〜，〜，…是一个实数序列.如果 

A(s) =«o s ~\~ a 2 5 2 + *•• (1.1) 

在某个区间 一 s 0 <s<s。 内收敛，则称 AG) 是序列{七}的母函数. 

变量 s 本身并无 意义. 如果是有界的，与几何级数比较 可知： （1.1) 至少在 
UI<1 内收敛. 

例如果屮=1对一切■成立，则 AG) = l/(l_s). (0,0，1，1，1，…）的母函数 
为5 2 /(1_ 5 ).序列 U , = l /)!} 的母函 数是匕固定； 7， { a ,= 的母函数是 
(1 + 5)". 如果 X是掷一颗均匀的骰子出现的点数，则其概率分布的母函数是 （5 + 

/+5 3 +5 4 +5 5 +5 6 )/6. ► 

假设X是一个取值为0，1,2,…的随机变量.为方便起见，引入X的分布和X的 
尾概率分布的记号 如下： 

P{X=j}=Pj,P{X>j}=qj. (1.2) 

则 

% =九4+/^2+… k > Q , (1.3) 

{九}和彳％}的母函数分 别为： 

， （1.4) 

Q( 5 ) = g 0 + 9i 92+ <?3 H — • (L 5) 

由于 P(l) = l ， 所以至少在上绝对收敛 • QG) 的系数都小于1，所以 
QG) 至少在开区间 一 1<0<1内收敛 • 

定理1 对于一 1<0<1，有 


Q(s) 


l-P(s) 

1 一 5 


( 1 . 6 ) 


证 （1 —S)Q(5) 中，的系数当” >1时为—九，当 ” = 0时为 + 
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^ + - = 1 — / V 故 （1 — ⑴ =1 — 尸⑴，定理证毕. ► 

下面我们研究 导数： 

oo 

P f ( s ) = kp ^ 1 . (1.7) 

此级数至少在一 1< s <1 收敛. 对于 s = l ， 右边化为 E^> a = £：( X ). 当此期望存在 
时，导数^0)在_1<$<1上连续.如果发散，则当 S —1 时 〆 0)—00. 在这 
种情况下，我们说 X 具有无穷的期望值并写作（因为所有的数都 
是正的，使用符号 00 不会岀问题 .） 在 （1.6) 右边的分子上应用中值定理，可得： 
Q (5)= P / ( cr ), 其中 C 7 是 S 到1之间的一个点.由于此两函数都是单调的，所以，它 
们有相同的有限或无穷的极限，记之为，(1)或 Q ( l ). 这就证 明了： 

定理2期望 E ( X ) 满足下列关系： 

oo oo 

E ( X ) = Yjjpj = (1- 8) 

>=1 A=0 

若用母函数来表示，上述关系即 

E ( X ) = P / (1)= Q (1). (1.9) 

微分 （1.7) 和关系式尸'⑴ = Q (5) —( l — dQ / G )， 用同样的方法 可得： 

£XX(X—l)) = HKfe-l)/> 产 P^D^^Q'a). (1.10) 

为了得到 VarCX )， 我们必须把上式两边同时加上及:叉彡一於彳叉)，加后 得到： 

定理 3 我们恒有 

Var ( X ) = P ，/ ( l ) + P \ l )-[ P / ( X )] 2 

= 2 Q '(1) 十 Q ( l )— QHl ). ( I - ID 

如果方差无穷，则当 S — 1时 ^(5)—00. 

关系式 （1.9) 和 （1.11) 经常提供计算 E ( X ) 和 VaKX ) 的最简单的方法. 

11.2 卷 积 

设 x 是一个仅取非负整数值的随机变量，则/是一个有定义的新的随机变量， 
而且 X 的分布的母函数可简写为 £(/)• 若 X 和 Y 是相互独立的随机变量， 则/和 

s y 也是相互独立的，所以 

E ( s x + y )= ECs x ) E ( s y ). 

我们再给此重要结果以另一证明，因为它可引出一个非常有用的推广. 

设 X 和 Y 是相互独立，都是取非负整数值的随机变量，它们的概率分布分 别为: 
p { X = j }= a n P { Y = j }= bj . 事件 {X 二的概率为 aA . 和 S = X + Y 是一个新 

的随机变量，而且 S = r 是下列互斥事件 之并： 

{ X =0» Y = : r } , { X ~ ltY = r —1} ，•- *, { X = r » Y —0}. 

所以，分布 & =尸{5=/*}由下式 给出： 


c^ao^r+a^r-i +a 2 6 厂 2 -|- Va^ibi+a^Q. 


(2.1) 
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由两个序列 U } 和{么}导出的新序列 { c ,} 的运算经常出现，所以，为了方便起见， 
给它一个特殊的名称与记号. 

定义设和{匕}是两个数列（不一定是概率分布）.由 （2.1) 定义的新序列 

{(^称为^丨和他丨的卷积/并表之为： 

= ( 2 . 2 ) 

例 （ a ) 如果化=匕=1对一切々 >0都成立，则 c * = 々 + l . 若 a k = k , & = 1，则 

q = 1 + 2 + …十是二 6 ( 灸+ 1 )/ 2 . 最后，若<^。=屮 = -|~，且々> 2 时〜= 0 ，则= 

{ b k + b k -^ )/2. 等等. ¥ 

序列和彳匕}的母函数分别为 = 和30) = 2> 〆 .乘积犬⑴召⑴可 

以由 A ( s ) 和 B ( s ) 的幂级数逐项相乘而 得到. 合并 s 的幂次相同的各项，我们 发现： 
在 A ⑴ BG ) 的展开式中， f 的系数 G 由 （2.1) 给出.因此我们有下述定理. 

定理若序列 {〜} 和{匕}的母函数分别为 A (5) 和 BW ， {cj 是它们的卷积，则母 
函数 C ( j ) = Sc〆 是 乘积： 

Cds )= A ( s ) B ( s ). (2.3) 

若 X 和 Y 是相互独立的仅取非负整数值的随机变量，它们的母函数分别为 A ( s ) 和 
B ( s ), 则其和； C + Y 的母函数为 AG ) B (5). 

现在令{〜}，{匕}，{0>，{^}*"是任意多个序列.我们可以先作卷积 Ud * {^}， 
然后把这个新序列再与作卷积，等等 . Ud * 丨的母函数为 

A(s)B(5)C<s)D(s), 这表明产生卷积与次序无关 • 例如， {a k } ^ { b k \ ^ {c k } = {c k } * 
{ b h } * { a *} » 等等.因此，卷积是 一 种可结合可交换的运算（与随机变量的求和完全 
一 样). 

在研究独立随机变量的和时，具有同分布的特殊情况特别 重要. 如果 

{ a / 是 { X „} 的同概率分布，氏二足+…+足的 分布用 {七广表示的话，则有 

{ aj } 2 * ={ a ,} * { aj } AajY * ={ a >} 2 * *{ aj ， … （2_ 4) 

一 般地， 

{〜•}”* ={ ay } u_1) * * { aj }. (2.5) 

用语言表示，彳 a , 广是其母函数为 AG ) n 的 数列. 特别地， U ; 广就是 彳七}，{^} 0 * 
定义为其母函数为 A °0) = 1 的数列，即是序列（1，0,0,0,…） • 

例 （ b ) 二项分布. 二项分布 K 々; 《，/>)== 的母函 数为： 

2 ( T ) (/= ( q + psY . (2,6) 

上述母函数是 9+ 扣的〃 次方表明：是〃个相互独立的具有同分布的随机 


1. 有些作者喜欢用德文 faltung ; 英文为 convolution ; 在法语中，与之等价的词是 composition . 
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变量之和 = …+足的分布，其中每个随机变量 X 均以概率 g 和/>取值0和 

1，其母函数为所以 


{ b { k ^ n , p )} = { b ( k ^\, p ) Y \ (2.7) 

表示式 S ,, = X 1 + …+足,曾经应用过 • [即第 9.3 节例 （ a ) 和第9_5节例 ( a )] 颠倒 
上述推理可得二项分布的另一推导方法.由可乘性 ( q+psT iq + psT - { q + psT +n 
推出： 

{b(k^m^p)} * {b{k ，， n ， p)} 二 {b{k. ， m 十 ru p)) • (2.8) 

这就是第 6 章 (10.4). 微分 （ g + 扣)”可得到£：(5„)=冲和 Var ( S rt )=” 抑的一种简 


单证明. 

( c ) 泊松 分布, 


分布户 ( A ; A )= e _A • AV 々！ 的母函数为 







㈤ 是 

是！ 




(2,9) 


由此推出: 


{ p ( k ； X )} * {〆 是;")} = {〆 是;; l+")h (2, 10) 

这就是第6章 （10,5). 微分之，我们再一次发现泊松分布的均值和方差都是 A . [参 


见第14节例 （ c )] 

( d ) 几何分布与负二项分布•令 X 为具有下述几何分布的随机 变量: 


P { X = k ) =(fp j 6=0山2 ，…， 

此处 p 和 q 是满足/>+9=1的正数 • X 的母函数为： 


二 

0 


P 

1 — qs 


( 2 , 11 ) 

( 2 . 12 ) 


利用第1节的结果，容易求得£(又)= 9/>,乂31：(： 5 0=-9/ 〆 .这与第 9.3 节例 （ c ) 推 
得的结果一致. 

在伯努利试验序列中，恰在々次失败后第1次出现成功（即是第^ + 1次试验出 
现第1次成功）的概率是 / p . 故 X 可以解 释为： 第 1 次 成功出 现所需之等待时间. 
严格地说，这种解释需要参考一个无穷的样本空间，形式地定义 (2. 11) 和随机变 
量的概念的优点在于，我们不必担心原始的样本空间的构造_以上所述，对第 r 次成 
功所需之等待时间 也对.设兄 表示第6 — 1次成功到第6次成功之间失败的次数 ，则 
氏=1+不+〜+又 是第； •次成功前失败的总次数（从而 S r + r 是直到出现第 r 次 
成功时，所需的试验次数).伯努利试验的定义要求：{兄}相互独立且具有同分布 
(2.11)，并且我们可以用此性质定义足.所以 S r 的母函 数为： 


第2章（8.7〉的二项展式 说明: 



P 

1 一奶 



s k 的系数等于 


(2.13) 


f ( kir f p )= ^ 々厂)户（―々 = 0’1’2 … • （2.14) 

由此 推出： P { S = k )= f { k ； r , p ), 这与第 6.8 节所推出的第 r 次成功之前失败次数 
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的分布是一 致的.此结果可复述 如下： {/( hr ， p )} 是几何分布本身的 r 重卷积 ，用 
符号表示，即 

{ fik ； r , p )} = {( fpY *. (2.15) 

到目前为止，我们所讨论的 r 都是整数，但是，在第 6. S 节中我们就曾指出，当 
r >0 不是整数时，定义出 负二项分布. 其母函数仍然由 (2.13) 所定义， 
而且对任何 r >0， 负二项分布的均值与方差分别为与 r ?/ 〆 ， 此 外还有 

{/(^；n »/))}* {f{k\r 2 , p) } = {/(^；rj +r 2 ， p、}. (2. 16) 

( e ) 循环. 在第 10. 6 节例 （ b ) 中，我们曾经研究过 《 个元素的随机排列中的循环的个数 
曾经证 明过： 此随机变量可以表示为《个相互独立的随机变量之和5„=兄+〜+兄，其 
中每个； G 都只能取两个值1和0,对应的概率分别为 （ n — A +1) — 1 和 h —— M l ) — 1 . 由 
此立得 S „ 的母函数是下述 乘积： 

打 —- 1+ - 5 • ” — 的 … 孕 • 4 = (-1)^ ~ 5 ). (2. 17) 

n n — 1 2 1 V « / 

此多项式的系数决定了 s n 的概率分布，但其精确表示式却要求斯特林数的知识.此处，我们 
得到一个例子，其母函数比其概率分布简单得多.由此 可见： 从母函数中可以获取许多重要 

信息. ► 

11. 3 伯努利试验序列中的等待时与均等 

现在，暂不讨论母函数方法的有效性和灵活性，转而讨论几个具有方法论意义 
的重要问题 * 其结果在随机徘徊中扮演着极突出的角色，并可考虑为扩散理论中的 
相关的结果的原型.它们将在第 I 4 章中用不同的方法导出（特别地，参见 I 4 . 4 节和 
14. 9节).对于/>=1/2的特殊情形，其结果在第3章中，曾用组合方法的不同形式 
导出过.不同方法的比较是有启发 的 1 . 

下面考虑具有成功概率为的伯努利试验 • 如果第々次试验的结果是成功则令 
X t = + 1, 否则令兄==一1.换句话说，我们研究的对象是一列相互独立的随机变 
量，其中每个随机变量都只能取+1或一 1，相应的概率分别是 P 或1这种描述既 
简单又自然，但是，由于它参考着一个无终止的试验序列，形式上导出一个无限的 
样本空间.实质上，我们仅仅要计算那些涉及有限次试验的概率，所以，实际上不 
会产生问题 • 我们可 以说： 固定试验的次数 N ， 然后令 N — oo , 但这有点故弄玄虚， 

而且不利于概率直观. 

像通常一样，令 

S „ = X 】 + … + X „ (当 w >1)， S 0 =0. (3.1) 

用习惯的赌博语言，甲、乙两方参加一场赌博，每次赌注为1，且令是甲在 
第;2次试验后所获的累积赢利.用随机徘徊的术语来说，当一个“质点”每隔一个 


1. 显然， 诚如所述，此节插进来的目的是为了展示其内在的意义，而不是为本书后半部分做准备. 
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单位时间就向右或向左移动一步， S „ 就是该质点在时期 n 所处的位置.如果 p 关+， 
那么此随机徘徊是不对称的. 

( a ) —个单位的贏利所需的等待时间. 用赌博的语言来说， 事件： 

$<0,…， S „— <0， S ，1 (3.2) 

表示赌徒甲在第《次试验第1次获得正的累积赢利.用随机徘徊的术语来说，第《步 
才第1次访问+1，用更专业的物理中的扩散理论的语言来说，称 （3.2) 是初过 1. 
下面要求此事件的概率九，更精确的说，要求它们的母 函数： 


^( s ) — U ^ n s n , (3_ 3) 

为方便起见\令灰=0.由定义知系=户，如果 （3.2) 对某个 《>1 成立，则 $ = — 1， 
而且存在一个最小的下标<«使 S v = 0 . 最初 n 次试验的结果可以用赌博的语言描述如 
下： （1) 第1次试验，赌徒甲输了 1个单位， （2) 紧接着的 r 一 1次试验，甲一直处于输 
的状态， （3) 接下来的^次试验，使甲获得正的净贏利 • 这三个事件所依赖的试验次 
数落在的区域是不叠交的，所以这三个事件是相互独立的.由定义 易知： 事件 （2) 和 
(3) 的概率分别为和九1，因为事件 （3.2) 发生当且仅当事件 (1) 一 （3) 对某个 

都发生.对所有正的^求 和得： 

夺 ” = g ( Afr -2+ M n -3 + 〜+ Ul )， （3. 4) 

注意： 此式仅对《>1成立，而且七=/>，九=0•把（丄4)乘以，，再对 ”=2,3,… 

求和，左边等 于①⑴ 一扣.右边圆括号内的量是卷积冰 } * 冰}的第项，由第 

2节的定理知右边等于奶.$ 2 (5).所以母函数$满足二次方 程式： 

^(. s )— ps ~ qs ^ 2 ( s ). (3.5) 

其两个根中的一个在 5=0 附近是无界的，故母函数是下述的惟一的有 界解： 



1 — \/l — Apqs 2 
2qs 


(3.6) 


此处 f 表示正根.由第2章 （8,7) 的二项展式，其系数可以写成下述 形式: 


^ Zk -\ = 





I k 


(4 抑) 是， 


^=0 ‘ 


(3,7) 


因此，我们得到了所要求的概率的精确表达式，但是，这是第二位的，而最感兴趣 

的是直接从母函数获取信息. 

首先注意： 2九由下式给出： 

= (3.8) 


1- 正如下面我们见到的，母函数①可以通过一段简单的概率推理来得到_下面给出一个不很典范的推导， 
因为它对处理卷积方程提供了一个很好的练习，此法在许多概率论以外的学科中也出现（可看习题 6). 



从而 
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\，当 

换句话说， 如果 和氏 永远为负的概率为 （ g —/>)/ g ; 如果/ 

所以 S „ 迟早要变为正的概率为 1. 时间到底要多长？简单的计算可得: 


(3.9) 

此概率为0, 
如果 >9* 


则0'(1) = (/ 1 ;如果々 = <? = +， 


则由此得出结 论：当 户时， 


和乂 初次为正的试验次数的期望为 

再用赌博语言来复述这一漂亮的结果是值得的.此结果揭示：在掷一个均勻的 
硬币的赌博中，理论上说，赌徒甲迟早总会获得正的净羸利，但是要达此目的，所 
需试验次数的期望是一个只有有限赌本的赌徒，理论上说，不一定能获得正的 

净赢利 • 在第14章的破产问题中，我们还要回过头来联系此问题进行讨论 • 

关于屯的二次方程 （3.5) 的推导，可以用下述更概率化的术语来 叙述. 令 N 是使 S N >0 
的第1个下标，则 N 是一个稍为广义的随机变量，此 N 在忒<0 对一切 〃成立 时没有 定义. 
(用第13章的术语，我们称 N 为“ 定义不全的” (defective ) 随机变量 •） 的母函数可以写 
作： 如果足=一1，则 iV = l + M + N 2, 此处 M 是使部分和及由 一1 上升到0 
所需的试验的次数，而 N 2 是后续的使之由0到1所需的试验的次数_这些随机变量是相互独立 
的， 而且 它们的分布与 N 的分布相同 ♦ 因此，/的条件期望为 

E(s n |X) = —1) = E(s 1+n i + n 2 |Xi= —1) = 5<I> 2 (s), 

E(s N \Xi=l)^=s. 


但是 


E ( s N )= pE ( s N \ X , = D + qE ( s N I 兄 =—1) ， （3. 10) 


由此可得中⑴ = EG N ) 满足二次方程 （ 3 . 5 乂 

( b ) 返回平衡.当& = 0时，累积成功次数与累积失败次数在第&次试验出现了 
一次均等.借用扩散理论中一个术语，此事件可描述为一次返回平衡，这要求试验 
的次数必为偶数，而且在第2«次返回平衡的概 率为： 

[—丄、 

u 2 n = {^ n \ p n q n — 2 ( Apq ) n . (3. 11) 


由第 2 章 （8.7) 的二项展式得其母函 数为: 


U ( s ) - XI .产 = 

n—O 


V 7 ! — 4： pqs 2 


(3. 12) 


注意： 不是概率分布，因为返回平衡是可能多次重复出现的. 

( C ) 初次返回平衡发生在第⑸次试验，当且仅当 s 2 „ = 0, 但&关0，々=1，2,…， 
2 n —1. 令此事件的概率为 / 2n . (当然 / w ，.） 考虑分别满足 足=1 和又=—1的 
两个子事件，并记它们的相应的概率为及和/ 2 二如前面的 （ a ) 中所述，显然有: 
f 2n = q ^ x . (因为前面 2 n —2个部分和 X 2 + X 3 + …+足都小于等于0,而其后的部 

分和是正的 .） 因此，应用 （3.6) 可得： 
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F ~( s ) = J 7, =神⑴= 1 — 71 — 4 (3. 13) 

由对称性，的母函数只需把上述母函数中>和 g 的位置互换一下就可得到•由 
此 推出： 从而最后有 S 

CO 

F ( s ) = 2 = 1 — \/l — 4 pgs 2 . (3. 14) 

n= 1 

有些有趣的结论可以不用 /» 的精确表达式来得到.显然， f ( i ) 是一次返回平衡 
迟早要发生的概率.因为 F ( l )== l _| 户 一 d ，所以 | />—g | 是平衡永不出现的概率， 

即是事件 S * 关0 (对一切々>0)的 概率. 只有在■的对称情形，返回平衡一定要 

发生.在这种情况下， {/„} 代表初返的等待时的概率分布.此等待时的期望为 

在户的对称的情形下，有 

ms ) = k ^2 (3.15) 

1 — 5 

由于 U 和 J 7 都是？的幂级数，此关系与 （1.6) 仅仅是符号上的差异，由定理 1.1 还有： 

“2”=/2”+2+/244+… （3.16) 

用语言表述，即当/+时， S 2 „ = 0 的概率等于 2 t ? 个部分和 S 】，...， S 2 „ 都不是0的概 

率. 在结果曾在第3章用不同的方法推出过，并在扔硬币的随机起伏中的反常的性 
质的分析中起过基本的作用. 

( d ) 初过与后返.如果对一切 A < n , 都有 S 4 < r 但 S „ = r ， 则说在第《次试验初 

过 r >0. 用？^表此事件的概率.初过 r >0 以后的试验，构成了整个试验序列的一 

个概率拷贝，因此，初过 w 以后到初过^+1的试验次数（包含到 w +1 的那一次试 

验）的分布与初过1的分布 {<} 一样.当时，把九加起来不等于1，但是，我 

们说初过的等待时是一个具有（可能是定义不全的）分布{九}的随机变量仍然是有意 

义的. 接连的几个初过的等待时是相互独立的，所以初过「的总等待时，是 r 个相互 

独立的具有同分布的随机变量 之和. 初过 r 的概率分布{此°}的母函数为^ [为 

验证此结论，首先直接推出成满足类似 （2.0 的卷积方程，然后用归纳法 •:] 

对于第 r 次返回平衡发生在第《次试验的概率/，，类似的推导也对.的母 

函数为 F r . 比较 （3. 6) 和 (3. 14) 我们立即 发现： 

f :) = C 2 qW :\. (3.17) 

对•的特殊情形，此结果包含在第 3. 7节定理4中. 

由母函数出发，很容易推得逼近式和极限定理，但这依赖拉普拉斯变换，而拉普拉斯变 
换要在第二卷书第13章才讨论，没有系统的方法从母函数推岀 / P 的精确表达式，但是， 


1. 另一种推导，将在第 13. 4 节例 （ b ) 中给出 • 
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由母函数很容易验证对的猜估.由第3章第7节定理4,我们 猜测: 




o ⑽_ 


2 n — 


为了验证这一猜想，只需注意下列等式 


F" (5> = 2F r ^ 1 (s) — 4 ： pqs 2 P^ -2 (s) 


(3, 18) 


蕴涵了下述递推 关系： 

ftn — 9 (3. 19) 

此关系 （3.18) 右边也满足.因此，由归纳法可知 (3. 18) 正确，一个外表不同的实质等价 
的表达式将在第14_ 9节习题13中给出. 
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给定母函数 PG ) = 2 p k S k , 其系数扒，可以通过微分从此明显公式 A = 

k=0 

P w (0)/ yH 而得到.在实际中，不大可能得到其精确的表达式，不管怎样，这类通常 
很复杂的表达式，找出其合理的逼近也是可取的，获得此类逼近的最常用的方法是 
部分分式展开，众所周知，由复变函数知识可知，有一大类函数可以这样展开，但 
是，我们仅用于一类较简单的函数——有理函数. 

因此，假定母函数 形如： 

P ( s )=^, (4.1) 

此处 U 和 V 是两个没有公共根的多项式.为了简单起见，首先假定 U 的阶比 V 的阶低， 
记 U 的阶为 m * 进一步，再假定 V ( s )=0 有 m 个不同的实根或虚根. Sl ， s 2 ，…，〜•，则 

V(s) = Cs—s l )(s—s 2 )."(s —、）， （ 4-2) 

由代数可知 P ( s ) 可分解成下述部分公 式，. 


尸(5)=丄+丄 + …+~^， (4.3) 

5—5i S—S 2 — 5 


此处，0#，…，…都是常数.为了得到 A ， 把（ 4 . 3 )乘以(厂&)，再令卜〜乘积户⑴ 
(5-5,)^, 另一方面，从（4_1)和 （4.2) 有 


(^1 — 5) P (^) = 


_ -(7(5) _ 

(s'-s 2 )(s—s z )^^(s—s m ) 


(4.4) 


在上式中令 5— &，右边的分子趋于 一 UU )， 而分母趋于 U — S 2 )(Si ~S 3 )* 09 (Si ~s m )^ 这 
就是 Vu ), 因此对其余所有的根，亦可应用类似推理，所以对一 


切 k ^ n ， 有 


p k = -Uis k )/V f {s k ). 


给定作，可以容易地推出 P G ) 中的/的系数的精确表达式•记 



\—小 k 


(4.5) 


(4,6) 





k 
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对于把上式中最后一个分数展成几何级数: 



l — s/s k 



把此展式引入（4.3)，可得/的系数沁 如下： 


(4.7) 


P + —— \r^- (4.8) 

c /l+l ' c ^+l ' ; c «+l * ^ 7 

因此， 为了获得 P „， 首先必须找出分母的根 〜，•••，〜， 然后再由 （4.5) 决定系 
数 |0 l ，…， Pm . 

在 （4. 8) 中，得到了概率的 精确表 达式.算出全部 w 个根的工作量通常是 
很大的，因此公式 （4.8) 实际上只有理论价值，幸运的是， （4.8) 中的一项经常就 
提供了 满意的 逼近.事 实上，假定 51 是按绝对值来 说最小 的根，那么 （ 4 _8) 的第一 
个分母就是最小的.显然，当《增加时，其他各项所占的比例递减，而第一项起主 
要作用. 换 言之， 如果 ^ 是7(5) = 0的根中按绝对值来说是最小的，则当 w — oo 时 


久〜#1， 

(符号〜表示两边之比趋于 1). 甚至对相对而言较小的《，上式提供的逼近都是很好 

的.上式的主要好处在于：它只需计算代数方程的一个根. 

容易去掉在获得近似公式 （4.9) 时所加的限制.首先，允许 （4.1) 中分子的 
:阶可以超过分母的阶 m . 假定 UG ) 的阶为 m + H >>0). 用除法，可以把 PG ) 化为一 
个 r 阶的多项式加一个分数其中是一个低于 m 阶的多项式 • 此多 
项式仅仅影响分布的前面的 〃+1 项，而 tM 5)/ V ⑴可以如前展成分部分式•因 
此 （4.9) 还是对的.其次，关于 VG ) 只能有单根的限制也是不必要的.由代数学知 
识知道每个有理函数都可以展成部分分式.如果&是 VG ) 的一个重根，那么，部分 
分式展式 （4.3) 将包含一个形如 a /(s — s k ) 2 的附加项，而此项将在关于九的确切 
展式 （4.8) 中增加形如 cz ( n + l )5 r ( " +2) 的一项.然而，这并不影响渐近式（ 4 _9) 

(只要 h 是单根).我们将此结果写成如下定理以备将来 参考： 

定理假定 P ( s ) 是一个有理函数，其分母有一个单根 si ，而且&按绝对值来说是所 

有的根中的最小者，则/的系数 A 由渐近式此处0由（ 4 .5)式所定义. 
当〜是 重根的时候，类似的渐近式仍然存在.（见习题 25.) 

例 1 U ) 令是《次伯努利试验中共出现偶数次成功的概率，此事件的发生有 
两个可能：第1 次试验失败而其后的 《_1 次试验出现成功的次数为偶数；第 1 次试 

验成功而其后的 n — 1次试验出现成功的次数为奇数.因此，对有 

an^qa,, I p{\—a„- x ) , a 0 — 1. (4.10) 

把上式乘以 5" 再对” =1，2,…求和，得下述母函数关系： 


1. 在第 13. 7节的成功连贯的理论中，将对部分分式在数字逼近中的应用作一个很好的解释.第 14 . 5 
节连贯概率的精确表达式，第 16.1 节中的转移概率，都依赖于部分分式方法. 
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A ( s ) — l ~ qsA ( s )-^ ps(l — 5) 一 1 — psA ( s ) » 


或 


2A(s) = ll-sT lJ rll~{q-p)sT 1 ^ 


展成几何级数，最后我们得到 心的精 确表达式如下 


2 a n = l-\-(q — pY (4, 11) 

此公式无论从哪方面来说，都比下面的显而易见的公式更 可取： 

= 6(0 ;” ， /)) + 6(2 ;”，/») +…* 

( b ) 令％是掷一个均勻的硬币 n 次而不出现长为3的正面连贯的概率.（注 意: 
{ g „} 并不是概率分布，如果 A 是第1个长为3的正面连贯出现在第《次试验的概率， 
则是一个概率分布， 而仏则 表示其“尾部”，即是9» = 久+1+久+2 + —.） 

易证％满足递推公式： 


4 qn—2 3 ， n^Z. 


(4.12) 


事实上，只有试验以 T ， HT 或 HHT 开始时，才有可能在 n 次试验中不出现序列 
HHH . 其后的试验仍不出现连贯 HHH 的概率分别 为仏— 所以 (4.12) 
右边的三项正是使“无连贯 HHH ” 出现的三个互不相容的事件的概率. 

显然，9。=9严*? 2 = 1，因此，仏能够由（ 4 .12)依次算出.以 s ” 乘两边并对 
相加，得母函数 Q ⑴ = 2似' 其结果是： 


Q ⑴一 In 2 ^^-s{Q(s) — l~s} J r-^s 2 {Q(s) — l} J r-^s^Q(s) 


或者 


Q ( s ) 


2 s 1 +45+8 
一 45 _ 2 s 2 一 5 3 1 


(4. 13) 


分母有一个根 5 l = l , 087 377 8…和两个复根 • 对于 | s |< h ， 有|45+2/+?|<4心+ 
24+4 = 8,当 | s | =力，且5尹 51 时，此不等式仍然成立 • 故其他两个根的绝对值 
超过 h ，从而由（4_ 9) 有： 


1,236 840 H) 

(1.087 377 8 尸 1 . (4 . 14) 

其中分子等于 Gd + hi + SVU + lh + Ss ;). 甚至当 n 较小时，此公式给出的近似值 
也很好_例如，对仍 =0.875 与％ =0.8125，此公式给出的相应的近似值分别为 
0. 8847与 0. 813 60. 随着 n 的增大，百分误差很快地逐渐减小，例如，由此式算得 
的 g 12 =0. 416 26…精确到小数点后第五位. ► 


11. 5 



数 


设两个取整数值的随机变量 X , Y 的联合分布如下： 

P { X — j ， Y = k } = pjk ， y ，々 = o ， i ，2. 


(5-1) 
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称二元函数 

P ( s } ? 5 2 ) = ^ PjkS { s2 . (5* 2) 

为其母函数，此类母函数简称为二元母函无需作本质性修正，最初两节的考虑 
仍然适用此处仅指出可由 （5.2) 直接得出的下列三条性质就 够了： 

( a ) 边缘分布和的母函数分别为 A ( s )= PUl )* BG ) = P ( l ， d ; 

( b ) X + Y 的母函数为 

( c ) 随机变量 X 和 Y 相互独立的充分必要条件是： PC^i ，&)=△(& ) B ( s 2 ) 对一切 

5] ，52 立. 

例 （ a ) 二元泊松分布.显然， 

P (5! ,5 2 ) = e - W ai >0, b>0, ■ 

可展成幂级数，其系数为正且和为 1. 故是某个二元概率分布的母函 
数，其边缘分布分别为具有均值化+6和的泊松分布，但和 X + Y 具有母 

函数故它不具有泊松分布.（它是复合泊松分布，见第12章 
第2节） 

( b ) 多项分布. 考虑一个 n 次独立试验序列，每次试验分別以概率 po ， P \， p 2 出现 
结果 E 。 ，^， E 2 .设兄是出现的次数，则 ( X lt X 2 ) 具有母函数为 ( A + A h ) ” 

的三项 分布. ► 


11. 6连续性定理 


在第6章曾证明，泊松分布是具有概率 P 的二项分布的极限形式，其 
中夕 依赖于”且满足 limnp = X . IP 

b ik\n,p) —- e 一 W /々！ （当 n — oo 时). 

{6 a ;«， p )} 的母函数为 ( g +/?5 ) n = { l — A (1 — 5)/«} rt . 取对数，立即可见此母函数趋于 
e - wl - J ) ,后者是泊松分布的母函数.我们将证明此结果可推广到一般场合，即：概率 
分布收敛于一个极限分布的充分必要条件是对应的母函数收敛.不幸的是，此定理 
的应用范围不广，因为最有用的离散分布的极限是连续分布（例如正态分布是二项 
分布的极限形式 .） 

连续性定理假定对每个固定的《，„，…是一个概率分布，即是 

DO 

> 0， > : 1， 

是=0 

极限 

a k = lim a k ， n 

n^-*co 

* 连续性定理仅用于第 12_ 2 节中无穷可分律的一般形式的推导和第 12. 5节的分支过程的总后代- 


( 6 . 1 ) 

( 6 . 2 ) 
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对每个々>0都存在的充分必要条 件是： 极限 

A (5) =lim U a k ， n s k (6, 3) 

k=Q 

对每个 se ( o ， i ) 都存在，在此情况下，自动地有 


A(s) = 2_ja k s k . (6 - 4) 

显然〜 >0,且 注意： 此处的和可以严格地小于 l . 例如知 „ = 时 

a k = 0 , 对一切々成立. 

证 1 令焱„(5)为 （6.3) 式右边之级数 ■ 

( i ) 假定 （6.2) 成立，而且由 （6.4) 所定义，因为 |〜 rt — 仏|<1，所以当 


0<5<1时有 

I A„(5)-A(5) |< 2 | a^-a, 1 + 士， (6.5) 

*=o 丄 s 

取 r 如此之大以使，〈6(1 — 则对一切充分大的 n ，(6*5) 的右边小于2^因此 

左边可以小于我们所希望的值，所以 （6.3) 成立. 

( ii ) 假定 （6.3) 成立.显然 AG ) 是 s 的单调函数，所以当 S —0 时 A ⑴的极限 


( 6 . 6 ) 


A (0) 存在.因为 

a 0 ^(s)^a 0 ^-hs/ (1 — ， 

所以，当 n — oo 时，一切“。,„的极限值都落在 A (0) 和 A ( s )— 5/(1_：0之间，令5—0, 
我们发现 a Q .„—A(0). 这就证 明了： A = 0 时 （6.2) 式 成立. 

此推理可以依次推到一切々_确实，当0<5<1时 


A n (s) —ap^ ^A(s)—A(0) 
s s 


(6.7) 


上式左边是一个系数为非负的幂级数，因此，从各方面看 （6.7) 都类似于 (6.3). 
如前推理，我们首先 发现： 导数 AVO ) 存在，从而屯„— A '(0). 用归纳法可证 （6.2) 

对一切々都成立. ► 

例 （ a ) 负二项分布. 在第2节例 （ d ) 中，曾证明分布 {/( hr ，/>)} 的母函数是 
，(: L - 奶 ) _ r .现在固定 A ， 并令 />— l ， g — 0且令 r — oo 满足： g 〜 A / r •则 

(六/=微)' 知 ⑽) 

取对数，我们发现上式右边趋于 e — A + A S 而这是泊松分布的母函数.因此当 


oo 且 r q -^A 时有： 

fik\r,p) -* e _A ^j 


(6.9) 


1. 此定理是拉普拉斯-斯蒂尔切斯变换的连续性定理的特例，此连续性定理是在一般框架下证明的* 
在文献中，母函数的连续性定理的叙述和证明，通常加了一些不必要的限制 * 
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( b ) 具有变动概率的伯努利试 验 1 .考虑 n 次独立试验， 第 /U 欠出现 成功的概率为 
p k , 而出现失败的概率为％ = 1—九.总成功次数氏可以写成 n 个相互独立的随机变 
量 之和： S „ = ：^ 十… + X „， 其中兄的分布为尸{兄=0}=仏 ； 

P{X/t = 1} = pk. 

X k 的母函数为以+九5,从而 s n 的母函 数为： 

P ( s )~( q l ^- p l s ')( qz -\- p 2 s )'^ iq n ^ rp n s ). (6. 10) 

作为此模型的一个应用，假设某城市在给定的一天中一个住户发生火灾具有小 
概率 A ， 则和 A +九+…+久是该城市发生火灾数目的期望值，其中 〃是该 城市的 
住户数.在第6章中我们曾经 看到： 当 A —样而且各住户是否发生火灾是相互独立 
的，则发生火灾的数目是一个近似地服从泊松分布的随机变量.现在我们证明：当 
A 不一样时，此结论仍然成立.此结果将提升下述论断的可 信度： 泊松分布是许多 
不太可能 （ “成功”）的事件的累积效果所形成的现象的适当的刻画.事故和电话呼 
唤都是典型的例子. 

现在，我们考虑一个熟悉的 模型： 随机变量的个数”在增加，九按下述方式依 
赖《，{九}中最大的都趋于0,但外+/> 2 +… + 是一个常数.则由 （6.10) 有 

n 

log P ( s ) = 2 log{l — p k {l — s )}. (6 - 11) 

因为 At — 0，应用下列事实： log(l — x ) = — x—ftr (其中 0—0 当 r —0 时），可得 

log Pis ) =— (1 — 5 ) I (^ + d k pk )、一 — A (1 — s ) ， （6. 12) 

^ k=i 

所以 P (5) 趋于泊松分布的母函数， 从而 S „ 的极限分布是泊松分布. 由此得出 结论: 
当 n 很大，而 A = A + A + …+九大小适当，则&的分布可以用泊松分布来 逼近. ► 

11. 7 习 题 

L 设 X 是一个具有母函数 PG ) 的随机变量，试求 X +1 和 2 X 的随机变量. 

2. 求下列分布的母 函数： ( a ) P { X <«} ; ( b ) P { X < n ) ； ( c ) P { X ^ n ); ( d ) P { X > n + l ) ； ( e ) P { X =2 n }. 

3. 在一个伯努利试验序列中，令〜是组合 SF 第一次出现在第”一 1和第 n 次试验的概率 • 
求其母函数、均值与方差. 

4. 试讨论在第 2. 12节中，哪个公式表示卷积，何处用到了母函数？ 

5. 将一个骰子掷任意多次.设〜为使点数之和为 w 的所有可能的方式的数目， 试证： {〜} 
的母函数为 （1 —s — S 2 — 5 3 — 5 4 — s 5 一 / )— 1 — 1. 

6. 令知是 “在一个〃+1个边的凸多边形 PoJV ” 尺中，用 〃一2条（不相交的）对角线划 
分为三角形”的所有可能的方式的数目^令^ = 1_试证对 ”>2有 ： 


1. 亦可参见第 9. 1节例 （ e ) 和第 9. 5节例 （ b ), 

2. 此问题出自文献 [73]. 



a n = aia„-i + a 2 a „—2 +，"+ a„-iai . 

找出其母函数，并求出的精确表达式. 

提示： 假定一条对角线通过巧，并令6是使 PoA 出现在对角线中的最小的下标- 
注意： 习题 7 — 11 参见第 3 节. < D ， l/，F 分别为初过 1, 返回平衡、初返的母函数，参见 
(3.6), (3,2) 和 （3.14), 没有必要再计算. 

7. U ) 返回平衡发生在第 n 次或第 n 次试验以前的概率（分布）的母函数 1 为 
(l-s)- l F ( 5 ). 

( b ) 证明： 事件{$#0，）= 1，2，*",/2}的概率的母函数为： 

= ( 1 + 5 ) 17 ( 5 ). 

( c ) 证明这等价于 （3.16) 导出的命题 • 

8. 没有“返回平衡”发生在第《次（不含此次）试验以后的概率的母函数为 （1 一 一 1 
U (5) I p ~ q \- 

9. ( a ) 固定 r >0. P { S ， r } 的母函数为吖 （ s ) U ( s ). 

( b ) 当/?=_■时， 事件： “恰有一个 使& = 〆 ’的概率的母函数也是 （ a ) 中所给出 

的母函数. 

10 . ( a ) 固定 r >0 和々>()• 求出： 事件 “ S n = r ” 恰巧发生々次的概率的母函数 _ 

( b ) 把习题10 U ) 中的“恰巧发生々次”改为“至多发生々次“，求同样的问题. 

11 . ( a ) 求下列事件的概率的母 函数： 

初过 r >0 之后第1次返回平衡发生在第 r 次试验. 

( b ) 把 （ a ) 中的事件的“第1 次”三字去掉，做同样的问题 * 

12* 固定 r . 在第 9.3 节例 （ d ) 的等待时的问题中， 求出 S r 的母 函数； 验证第9章公式 

(3.3) 中的 期望； 并求出其方差. 

13. (续上题).下面是推导上述结果的另一种方法.令九 = 证明递推 公式： 

pn + 1 ( r ) = n(r)-\- N ^ +1 p „( r —1). (7.1) 

直接从 （7. 1) 推导母函数. 

14. 对 r 个事先标号的元素（而不是任意 r 个），解决前面两个问题 • 

15 2 * * * .在伯努利试验序列中，试验到第1次失败出现为止，叫做一个“轮回” _ 试求 r 个轮回中 
累积的成功次数&的概率分布及其母函数. 

16* (续上题). （ a ) 令 i ? 是到第 v 次成功时接连的轮回数（即第 r 次成功发生在第尺个轮 
回）.求出 £( i ?)， Var ( i ?)， 并 证明： 

1, 原著没有“（分布）的母函数” 6 字，不妥.——译者注 

2. 习题15 — 16与台球游戏有直接关系.成功概率 A 衡量游戏者的技术.游戏者一直玩到他失败为止. 

因此，他累积的成功次数是他这一轮回的 长度. 游戏持续到一个游戏者获得 N 次成功为止.因此， 

习题15 给出一 个游戏者获得 r 次成功所需要的轮回数的概率分布，而习题16是关于两个游戏者不 

分胜负的概率和平均持续时间.关于进一步的详情请参见文献[ 74 ]. 
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雕1卜柯 

( b ) 考虑两个分别具有知， 和和， q 2 的伯努利试验序列. 求出： 相同的轮回数之后是 
第 iV 次成功的概率. 

17. 设X以相同的概率+分別取值0，1，…， r —1. 当 r 是一个复合数，例如说X可表 
为两个独立的取整数值的随机变量之和. 

18, 设 S„=^+ …+足是〃个相互独立的随机变量之和，其中每个随机变量以相同的概率 

丄取值1，2,…， a. 证明其母函 数为： 

^2 


PCs^ — 


a(l —5) 



当时， 


P { S n = j ) 







(上述级数只有有限项非零 .） 

注意： 当 a =6 时，我们得到掷几颗骰子出现点数之和为的概率 • 此问题之解，曾 


由様莫弗所给出. 

19. (续上题).概率 P{S„0} 的母函数为 P(：0/(l — s) ，从而 

U 

20. (续上 题). 极限形式.若 a—oo ， y-^oo 满足 I ， 则 

去 2( - 1)1； 0-介， 

* V 

其中求和号中的^满足 

注意： 此结果是由拉格朗日得到的 • 在几何概率论中，右边表示具有区间（0，1)上的均 
匀分布的几个相互独立的随机变量之和的分布. 

21. 设 ⑷是〃 次伯努利试验中成功次数能被3整除的概率， 试求〜 的递推公式，并由此求出 
其母函数. 

22. (续上题).另一种方法 * 令％和叫分别为具有形式加+1与3^+2的概率（故％ + 
%+ W„ = l). 试求三个联立递推关系，并由此求出母函数所满足的三个方程. 

23. 设X和 Y 是分别具有母函数 L7(s) 和V⑴的相互独立的随机变量_ 试证： P { X - Y = j }^ 


L/(5)V (丄）中的夕的系数，其中 > = 0,±1,±2广_, 

5 

24. 矩母函数_令 X是具有母函数 P ⑴的随机变量，且令 Sp〆 1 对某个 以>1 收敛 • 则所有 
的矩 w r = E(X r ) 存在，且序列 m r /r ! 的母函数 F( 5 ) 在 M<log 处收敛_此外， 


F(s) = ^^f = P(e). 

r=0 广 • 

注意： 通常称 FU) 为矩母函数，虽然实际上它所产生的系数 是叫 /r!. 



25 , 假定 A ( s ) = Sa〆 是有理函数而且&是 V(s) 的按绝对值来说最小的一 个根. 如果 


&是〃重根，证明 


pi ( n+r —1 \ 

rt+r \ r —l ) f 


此处 pi = (- lYr \ U (々）/ V ⑺ （ h ). 


26. 二元负二项分布.试 证明： 当参 数值为正时， 舛 U — 灼&― 办 公广 fl S(X，Y) 的母函数， 
其中的边缘分布和 X+Y 的分布都是负二项分布 1 • 


1.贝茨 （ G . E , Bates ) 和内曼 （ J . Neyman 在研究意外偏斜中，曾使用过这类分布，参见加州大学统 
计出版物 ， voL 1， 1952). 
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概率论重要的一部分是关于独立随机变量之和，而且在许多情况下，此和中的 
项数本身就是一个随机变量.此处，我们只考虑取整数值的随机变量这一特殊情形， 
这部分是为了说明母函数的用处，部分是为研究无穷可分律和第二卷书中的具有独 
立增量的随机过程作准备. 

作为一个特别诱人的应用，我们来描述分支过程的漂亮的理论的要素. 

12. 1随机个随机变量之和 

设{ X }是一个相互独立的具有同分布的随机变量序列，其公共分 布为： 
p { x k = j ]= f ” 其母函数为 / g ) = 我们经常对下 述和： 

S jV — Xi + X2 + …+ Xjv ， 

感兴趣，其中项数 iV 是一个与相互独立的随机变量.令 iV 的分布为 P { N = n }= A ， 
其母函数为 〆 5 ) = Sw ”. S „ 的分布％}，可以用条件概率的基本公式 得到： 

OO 

h } - P{S N = j) = - hX„ = j). (1. 1) 

如果， iV 只取有限多个值，则5；^定义在有限多个;^的样本空间上，否则，作 
为和的 S N 的概率定义就涉及无穷序列{足}的样本空间，但是，我们仅涉及 S N 的分 
布，为此目的，我们就取分布 （1.1) 作为 S N 在具有点0，1,2,…的样本空间上的 

定义. 

对于固定的《，兄+兄+… + x „ 的分布为 {/}} 与其本身的重卷积，因此 
(1.1) 可以写成下列更紧凑的 形式： 

{ h } ) = ^ g n { fj ) n * . (1.2) 

n=0 

此公式可用母函数来简化. {/, r 的母函数为因此，由（1.2)， s N 的母函 
数显然为： 

h ($) = = 2 = A 尸⑴ _ (1_3) 

j=0 n=0 

上式右边是 MW 的幂级数中以 / G ) 代5所得到的函数，而是 W / G )). 这就证 明了： 

定理和5^ =兄+… + X N 的母函数是复合函数 g (/( d ). 

其证明还可用条件期望的方法复述 如下： 由定义 

E ( s s n \ N = n )= r ( s ) 9 (1.4) 

为了得到 / K 5 ) = E (5 S N )， 把上式两边乘以再对一切 求和即得.[见第9章 
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(2. 9).] 

下面介绍两个有趣的特例. 

( a ) 如果 X ,都是伯努利随机变量，且 = 则 / G ) = 


q -\- ps y 因此 Ms )。 〆 ？ + 和). 

( b ) 如果 iV 具有均值为大的泊松分布，则 / iG )== e i + 〜\以此为母函数的分布称 
为复合泊松分布.特别地， 如果足 是伯努利随机变量，且 N 具有泊松分布，则 his ) = 


，和具有均值为的泊松分布. 

例 U ) 在第 6.7 节例 （ C ) 中，我们曾经 见到： X 射线引起细胞中染色体的分 
裂.在一定的剂量和曝光时间下，分裂的细胞数 iV 具有泊松分布 • 一个分裂的染色 
体恢复原状的概率为？，而细胞死亡的概率为 一 <7. 此处 S N 是观察到的分裂个 


数它具有均值为0的泊松分布. 

( b ) 在陷阱实验中 [76] ， 仏表 示某种野兽有〃只的概率，再设每只野兽落入陷阱的 
概率为 P (假定各种野兽是随机独立的），则这类野兽中被捕获的个数是一个随机 
变量，它的母函数为 〆 9 +办).上面的描述可用多种方式加以改变 • 例如，令仏为 
一只昆虫产《个卵的概率，而 P 为一只卵成活的概率，则3〃 是成活的卵的个数.又 
如，令仏为一个家庭有《个小孩的概率，再设小孩的男女性别比为 P : 9，则 S N 是 
一 个家庭男孩的个数. 

( c ) 每棵树都结大量的种子，但每粒种子成活的概率很小，故有理由假设每棵树 
成活的种子的粒数服从泊松分布.如果表示种树的棵数的分布，则 g (^ A+As ) 是 


成活的种子的个数的母函数. 

( d ) 要求服务的时间.考虑一个电话的中继线，一个柜台，或任何一个服务设 
施.接连到来的顾客要求的服务时间为兄 ， X 2 ，…， {&} 可视为相互独立的具有同分 
布的随机变量.在一天中来到的顾客（或电话呼叫）数是一个随机变量 N ， 因而他 
们要求服务的总时间是随机和 兄 + X 2 + m + X N . ► 

12.2 复合泊松分布 

在随机和 5；^=足+ … + X N 中，最重要 的是： 其中的 iV 具有泊松分布.由于今 
后会凸显出的理由，令 iV 的期望为如果&具有同分布{/,}，则 S N 具有复合泊 
松分布： 

{ h { } t = e -^2 (2. 1 ) 

n=0 n 、 

其母函数为 

( 2 . 2 ) 

例 （ a ) 累积损失.假设在长为 i 的时段内被闪电击中的次数是一个均值为 W 的 
泊松随机变量 • 如果 (/„} 是一次电击所造成的损失的概率分布，则（假定随机独立 
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此处符号〜表示两边之比趋于 1. 把此关系式与5=1的特殊情形结合起来，得到 
[因为 / i ( i ) = i ]: 


log h ( s ) — \og / t 0 — log yiiis ) th 0 ^ h ( s ') — ^/ h Q q 

-^ogho —— bg7H 〜 i-v^7 . , 

右边是一个具有正系数的幂级数，而且当 s = i 时，这些系数之和为 1. 因此，对每 
个 rz , 右边是一个概率母函数.由第 6. 6节的连续性定理，这蕴涵了左边是一个非负 
序列的母 函数. 令 s = l ， 我们发现= 这意味着/ I 可以表成形如（2. 2 )的 

函数，其中 = — log / i 。. ► 

此定理可复述如下形式： 

准则函数 / i 是无穷可分的概率母函数的充分必要条件是： = l 而且 

=其〜？其中〜 > 0, (2.6) 

确实，在 （2.6) 中令/ 则 A 化为标准的 （2.2) 的形式（取^=1)，而 

且这是如 （2.1) 所定义的复合泊松 分布的 母函数. 

例 （ d ) 比较 （2.2) 和前一节的定理，我们 发现： 如果 iV 的分布是无穷可分的， 

则随机和 S N 的分布也是无穷可分的. 

( e ) 负二项分布的母 函数： 


^(5)=(^—) ，/>+9=1， （2_7) 

具有性质 （2.3) 因此它是无穷可分的 • 取对数，立即发现，它是形如（2. 2 )的函 
数，对应的 

fn = (t ibi, X = \ogp~\ (2.8) 

{/„} 是熟知的对数分布，它被统计学家广泛地应用. 

( f ) 由第2章 （8.9) 和 （8.10) 易知： 当 — />>/>时，函数 



g (^ 


VQ^P 
q l — p 2 s 2 


(2.9) 


满足条件 (2.6), 从而/和 g 都是无穷可分的概率母函数 • 有趣 的是： 

f(s)—g(s) (q^-ps), ( 2 . 10 ) 

此处，我们把一个无穷可分的概率母函数分成了两个概率母函数的乘积，而其中只 
有一个是无穷可分的概率母函数.这种分解的可能性开始使人很惊奇，而后这一课 

题引起了广泛的注意. ► 

复合泊松分布的一个值得注意的性质，曾经是人们仔细思索的一个课题.为简 
短起见，令 Ai = A /,， 则形如 （2.2) 的母函数~分解为下述形式： 

^ ( 5 ) = e A i f(5 " n - u • e V (’- 1) …. （ 2*11) 

乘积可以是无穷多项，但这不会给我们的讨论带来麻烦，从而我们可以假定只有有 
限多个》,是正的.第一个因子是通常的具有均值;^的泊松分布的母 函数. 第二个因 
子是2乘一个泊松随机变量的母函数，即是， ( A 2 07 n ! 不是 n 所对应的概率， 
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而是2〃 所对应的概率.类似地，第々个因子是々乘一个泊松随机变量的母函数，因 
此， (2.11) 给出了心一个新的表示， S lV 是相互独立的随机变量1，匕，…的和，其 
中 I 仅取值 0， h 2 h …，但对应的概率仍构成泊松分布. （2.11) 的内涵可描述 如下： 
令 N , 是尤，…，中等于 j •的随机变量的个数，则〜=凡+况+…，而且 (2.11) 
说，是相互独立的，且它们都涉及泊松分布. 

例 （ g ) 汽车事故.把尤解释为卷入第々次事故汽车的辆数.标准的假 设是： 
是相互独立的，而且事故发生的次数 N 服从泊松 分布. 卷入事故中去的汽车的 
总辆 数为兄 +… + X N ， 它具有复合泊松分布 (2.1). 令风是恰有々辆汽车卷进去 
的事故的次数.根据（2.11)， { AU 是相互独立的，而且它们都具有泊松 分布. 此结 
果的实际意义无需解释. ► 

[对复合泊松分布的一个推广，请见第 17. 9节例 （ a ).] 

2 a 具有独立增 JI 的过程. 

前面的结果，通过它们与一类重要的随机过程的密切联系，引起了人们的兴趣.尽管这 

部分理论已超出本书的范围，但我们还是作一点非正式的介绍_ 

从一个简单的例子开始，考虑来到一个电话局的呼叫次数，它是时间的 函数. 作为一个 
电话局的业务，要求对每个？，记录在时段0到£进人电话局的呼叫次数 ZG ). 假定依次来到 
的呼叫在时刻则当 0<0< h 时， ZG )=0， 一 般地，当&<0<0出时， 2(0= 么反 
之，每一个只取值0，1，2…的非降函数代表了来到该电话局的呼叫次数的一种发展过程.因 
此，这类问题的概率模型必须建立在其样本点为函数 ZG ) 的样本空间上（在离散的试验序列 
中，样本点是一个序列)，用某种方式赋予的概率，必须使我们能够处理诸如下面这些复杂的 
事件： ZQ ) 超过 I 7 ，或者 Z ( t ) 在某个时刻超过加(后面这一事件，是综合风险 
理论中的破产问题的主要对象).下面我们将认为这种赋概当然是可 能的， 我们的主要目的是 
证明，关于这类过程的一组简单而自然的假设会保证：对于每个固定的£，随机变量 2( f ) 必须 

具有复合泊松分布. 

类似的考虑可用到一大类经验的现象中去.确实如此，电话呼叫次数的随机变量 
可以代表接连的会话的累积长度（花费）；或卷入事故的汽车总数；或电击造成的累积损失; 
或电力的总消耗量；或累积的降雨量……等等 * 在这一章的框架内，我们必须假定只取 
非负整数值，但其理论可以抽象到任意的随机变量.我们把注意力集中到满足下述两个基本 

假设的随机过程上来，这些假设在许多应用中似乎是自然的- 

( a ) 过程是时齐的，即是，增量 Z ( i +/ i ) — Z (0 的分布只依赖时间区间的长度而不依赖其 

位置（即时间起点 

( b ) 在相邻的两个时间区间上的增量 Z ( t 2 ) — Z ( ti ) 与 Z (^) — Z ( t 。） 是相互独立的.上一节 
的结果现在可以复述 如下： 如果存在一个满足假设 （ a ) 和 （ b ) 的过程，则增量 ZU + A ) — 


1. 此条件并不如初见时那么 苛刻. 例如，在白天“忙时”，来到电话局的呼叫次数远比在午夜 1 点钟 
来到的呼叫次数多，所以过程不是时齐的，然而，显而易见，电话工程师主要关心的是白天中的 
“忙时”.在这一个时段，过程可以考虑为时齐的.经验也证 明：在 “忙时”内，来到电话局的电话 

呼叫次数惊人地近似服从泊松分布_ 
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z ( r ) 具有复合泊松分布.特别地，当 zu ) 仅仅改变单位，此随机变量具有相同的泊松分布 

[参见 （2.11)]. 

因此，我们找到了简单和复合泊松分布的本质特性.与第6章的推导对比，泊松分布不 
再作为一个逼近值的面貌出现了，它本身有其独立的地位（人们可能说，作为一个自然规律 
的表示).当然，我们现在面对着一个反 问题： 是否每一族复合泊松分布确实对应着一个随机 
过程？回答是肯定的，但是，事实（令人惊奇的）是上述两个假设不能充分地描述惟一的过 
程.为了对一类有趣的过程能惟一描述，需要把假设 （ b ) 加 强为： 对 每个心 对应于有限分 
化的《个增量是相互独立的.这是过程具有独立增量的定义.任何一族复合泊 
松分布决定惟 一一 个具有独立增量的随机过程，因此，理论上不会产生困难了.但是，我们 
曾经假定独立性仅限于两个区间.这种有限制的假定，能充分地决定增量的分布的形式，但 
是可以构造出很病态的过程也具有此性质 1 .此例说明构造随机过程的完整模型的固有的 
困难. 

12.3 分支过程的例子 

我们将描绘一类能作为许多经验过程的简单模型的随机过程，并说明母函数的 

用处.用语言来说，这类过程可描述 如下： 

考虑一些质点，它们可以产生同一类型的新的质点.起始或第0代有一个质 

点.每一个质点以概率九产生々个新质点0=0，1，2,…），第”代的直接后代构成 
第 n + 1 代.每一代的各质点之间的行为是相互独 立的. 我们感兴趣的是各代质点 
的数目. 

在使用严格的随机变量的术语之前，先作一点简单的说明. 

( a ) 核链锁反应. 这个与原子弹有关的应用是众所周知的 2 .质点是中子，它总有 
机会被其他中子撞到.设/>是一个质点迟早会与其他质点发生碰撞而产生 m 个质点 
的概率， g=l — f 是一个质点无后代的概率，即此质点始终不活动（换言之，即消亡 
或被吸收）的概率.在此模型中，后代只能为 m 或0,其相应的概率分别为 f 和心 
(即 Po = g ， An = P ， 而对一切关0或 w ， A = o .) 最坏的情 况是： 初始质点始终不活 
动，从而过程没有启动.最好的情 况是： 第一代有 m 个质点，第二代有 rn 2 个质点， 
等等.如果 P 接近于1,则质点数异常迅速地 增加. 从数学上看，这个数目可以无限 
增大； 而从物理上看，质点数目很大时，裂变的概率不可能保持为常数，统计独立 
性也不复 成立. 不过，对通常的链锁反应来说，可将“质点数无限增大”的数学描 
述翻译成“爆炸”. 

( b ) 姓氏的存亡. 此处（如现实生活中一样）仅考虑男性后代，他们扮演着 （ a ) 

1, 在这个过程中，增量 zu 3 ) — 与 Z (匕） 一 Z (0) 相互独立，也与 z ( n )— ZUo ) 相互独立，而 
且它由后面这两个增量完全确定_参见 [77]. 

2. 参见 [78]. 那去掉了空齐性假设. 
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中质点的角色.九为一个新生男孩有々个儿子的概率.我们的概型中，作了两个人 
为的 简化： 第一，受世俗的影响，生育多少后代会有观念上的变化，因而分布{九} 
实际上是逐代改变的；第二，共同的遗传和相似的环境，必定引起亲兄弟之间的某 
种相似性，这与随机独立也是矛盾的.我们可以将模型加以改进以消除这些缺点， 
但又不影响其本质特征.我们将推出某家族第《代有々个子孙的概率，特别家族灭绝 
的概率.姓氏存亡问题似乎是用概率方法研究链锁反应的第一例.首先讨论这个问 
题的是髙尔顿（1889)，有关此问题的详情可参看文献[79]_洛特卡 （ Lotka ) 在此书 
中证 明了： 美国的历史资料很符合下述分布， A =0.4825， A = (0.2126) • (0. 5893)— 1 

(^1). 此分布除去第一项后就是几何分布. 

( c ) 基因与突变. 有机体中的每个基因（参见第 5.5 节）都有可能在1,2,3, …个 

直接后代中 再现. 当然，我们的模型在描述此过程时，忽略了总体随时间的变化. 
此模型在研究突变或基因内部的变化中很 有用. 一 个自发的突变产生一个新型基因， 
这个基因起着“第0代质点”的作用.这种理论，可以用来估计突变基因的生存与 
传播的机会.为确定起见，考虑按 R . A . 费希尔）一株玉米，它是某100颗种子的父 
体又是另100颗种子的母体.如果总体的大小保持不变，则这200颗种子中平均有2 

颗长成玉米.每颗种子得到一个特定的基因是所以， 一 个突变基因，恰巧在是 

棵新玉米中表现出来的概率 等于： 成功概率为/>= 1/200的200次伯努利试验中恰巧 
出现 々次 成功的概率.于是，有理由假定 { A } 近似地为均值为1的泊松 分布. 如果基 

因带有某种生物学上的优势，我们会得到均值大于1的泊松分布. 

( d ) 等待队列 [8 ° ] . 分支过程的有趣的应用出现在排队论中.粗略地说，在服务 
设施空着时来到的因而可以立即得到服务的顾客称为 祖宗. 在他接受服务期间来到 
的顾客称为他的直接后代，这些顾客加入等待队列，此过程持续到队伍消失为止. 
我们将在第5节例 （ b ) 中详细讨论，并在第5节例 （ c ) 中讨论更有趣的变化了的 

问题. ► 


12.4 分支过程的灭绝概率 

令乙是第《代的个数，而尸„是其概率分布的母函数，由假设， 2 o = l 且 

00 

p ,( s ) = P ( s ) - ^ p k s k . (4，1) 

0 

第《代可以据第1代的祖宗来划分为 乙族. 这意味着：乙是 乙个随 机变量之 
和，其中每一个随机变量都代表第1代中的一个成员的后代个数.由假设，每个 
的分布都与的分布相同（此处固定 n ) 而且随机变量 Zf 是相互独立的.因此， 

母函数是下述复合 函数： 

P „(5) = P ( P„-i (5>). (4.2) 

此公式使我们能够递归地计算出所有的母函数•由 （4 . 2) ，我们有： (5)= 
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P ( P ( 5 ))， P 山) = P ( P 2 ⑴），等等.虽然的精确表示式难于得到，但计算是直接 
的.尽管如此，仍然可以从 （4.2) 得出许多重要的结论. 

例 （ a ) 假定直接后代的个数服从几何分布 { g〆 }， 此处则 P ( s ) = 
q /( l - ps ). 对 P 2 ， P 3 等等进行精确计算（要耐心）可得一般 公式： 


P n ( s ) =q 


p n — q 71 — { p n ~ l — q n ~ l ) ps 
p n ^- q n ^ x -{ p n — q n )ps 


容易 验证： （4_3) 确实满足 （4_2). 


(4.3) 


如果 f = g ，在 （13) 中令+得 


PSs ) = 


n 一 in — 1)5 
w +1 _ ns 


( 4 . 4 ) 


注意：当户> 9 时， p n (0)^ q / p ； 但当时， P „(0)^1. 我们将要解释这一结果， 
并对任意分布{九}找岀类似的结果. ► 

关于分支过程的第一个问 题是： 分支过程是否永远继续下去，或者在有限代以 
后其子孙死光.令 

x n = P { Z n = 0}= P n (0). (4.5) 

这是过程在第 〃代或 第 n 代以前结束的概率.由定义， oc ,= p Q , 且由 （4.2) 易见： 

— PiXft—i ( 4 . 6 ) 

极端情形 A >=0 或 九=1 是不足道的.所以我们假设0<趴<1.那么，由 P 的单调 
性 断言： t 2 ^ P ( Po )> P (0)= x 1 , 从而用归纳法 可证：： 因此存在极 
限 x < l ， 且由 （4.6) 易见： 

x = PU ). (4.7) 

当时， PCs ) 的图 形是： 从分角线上面的点（0，/>。）开始而终于分角线上的 
点 （1.1) 的一条凸曲线.因此，只有两种可能的 情况： 

情况 ( a ) 图形完全在分角线上方.在此情况下， x = l 是 U . 7 ) 的惟——个根， 
所以 A —1. 此外，在这种情况下，1_尸(.0<1 — 5 (对一切 d ， 令5 — 1，我们发现 
导数 Pa ) 满足不等式 ^0 X 1- 

情况 ( b ) F 的图形与分角线交于某一个 a <1. 因为一条凸曲线与直线最多交于两 
点，在这种情况下，当 5 < a 时， P ( s )> s , 而当 <7< OCl 时， PisXs . 所以： 
( 0 )< P ( a )^ a . 用归纳法，由此 推出 ： a —< y ， 从而工=仏 
另一方面，由中值定理，在 j 与1之间存在一点，在这一点上， 〆 等于 1. 此导数是 
单调的，所以 

因此，这两种情况分别是由 P ' UXl 和 〆 （1)>1来作其特 征的. 但是 


fi = 〆 （]_)= XI kpk ^ 00 (4. 8) 

k^O 

是直接后代的期望值，因此，我们有下述有趣的 定理： 

定理如果 p < l ， 则过程概率为1地死亡 • 然而当 / i > l 时，过程在第”代或第 
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代以前终止的概率0：„趋于方程式 （4.7) 的惟一的一个根 x < l . 

在实际中，通常收敛得很快，因此，要么过程以很大的概率很快就终止 
，要么过一直持续下去.第《代的个数的期望值为 E (乙）.从 （4.2) 得 
到链式 规则： p / „ a )= p / ( i ) P / n - 1 ( i )= ( W E ( z n - J ) 1 , 从而 ㈣ 


£( Z„)=〆 (4.9) 

当 "<1 时，过程会灭绝的事实不足为奇，但是，甚至当^=1时都达不到稳定 
却不甚显然.当^>1时，根据 （4.9), 可以期望后代个数会呈几何级数增长.在平 
均意义上，这是对的，但不管^多大，灭绝概率都是有限的.易见：对一切 s < l 都 
有 x ， 这意味着 s ， s 2 , s ? …等等的系数都趋于 O . 因此，经过充分大的代数以 
后，大致上说，或者没有后代子孙了，或者有非常多的后代子孙（对应的概率分别 
为 X 和 1— J ：). 


12. 5分支过程的总后代 

现在，我们把注意力转向随机变量 2 

Y „ = l + Z 1 +-+ Z „ (5.1) 

这是第《代以前（含第 W 代和第0代一始祖）的后代的总数 • 令 n —①，得到了后代 
的总数目，它可以是有限数也可以是无 穷大. 显然，对每个《，随机变量叉都是有 
定义，令其母函数为 i ?„. 因为1 = 1+^，所以风可以应用上一节的 
推理导出艮的递推公式，惟一的不同之处 在于： 必须把始祖加进第1代的乙个人员 

的求和中去.因此， 

R n ( s ) = sP ( R ^ l ( s )). (5.2) 

从此递推公式，理论上可以逐次计算 K ， 尺 2 ,…，但是工作量大 * 幸运的是，可以用 
上一节在推导灭绝概率: r 时曾经使用过的几何推理来讨论的渐近性质. 

首先 注意： 对于每个 s < l 有 

R 2 ( sy ^ sPiR , ( s ) XsP ( s ) =兄 （5) (5.3) 

用归纳法可推出所以单调下降到一个极限 〆 而后者 满足: 

p { s )= sP ( p ( s )), 0< S <1. (5.4) 

由第 11. 6节连续性定 理知： 作为概率母函数的极限的 p ， 它必是某个满足的 
非负数列{作}的母函数. 

由 （5.4) 得知： 对每个固定的 sCl ， 〆 。 是下列方程式的一 个根： 

t = sP (0. (5.5) 

下证此根是惟一的 • 为此目的，令 x 是工 = P ( i ) 的最小正根（故2<1).注意 


1. 原著在此处误把 z „ 写成 x „.—— 译者注 

2. 此节吸收了文献 [82] 的内容. 




12.5 分支过程的总后代 229 


y = sP ( s ) G 固定）是 i 的凸函数，所以其图形与直线:至多交于两点.但是，当丈 
=0时， （5.5) 的右边大于左边，而当时， （5.5) 的右边小于左边，亦然. 
所以 （5.5) 在0与 i 之间恰有惟一一个根，而在 x 与1之间没有根.因此 〆 s ) 是它的 
惟一的一个根，且 〆 s )<： r . 但是，显然 〆 1) 是的一个根，又因为 o ■是此方程 
的最小的根，从而 〆 1)=工.换言之， （0 是一个“诚实的” （ honest ) 1 概率母函数当且仅当 
x = l . 现在，我们可以总结上述结果 如下： 

令 A 是总后代恰含々个成员的概率. 

( a ) S 作等于灭绝概率•(而1— x 等于具有无穷个总后代的概率). 

( b ) 母函数 〆 = 由方程式（ 5 , 5 )的惟一的那个根所给出，而且 〆 s )< x . 

我们已经 知道： 当^<1时，概率为1地使总后代之个数为有限.微分（5. 4 ) 
得到： 当 y < l 时，其期望等于1/(1_沁 ； 当 "=1 时，其期望为⑺ • 

例 （ a ) 在第4节例 （ a ) 中，我们已知 PG ) = g/(l —扣)，从而 （5.5) 化为二次 
方 程式： pt 2 * — t J \~ qs =0 1 由 此得： 

(5.6) 

(此母函数在第 11. 3节中讨论初过时曾经遇到过 . ） 

( b ) 忙期.现在，转而详细分析第3节例 （ d ) 中提及的排队问题.为简单起见， 
假定在任一瞬间只能来一个顾客，而且只在整数值的时刻 2 到来.假定顾客的到来依 
伯努利试验而行，在时刻《， 一 个顾客到来的概率为/>，而无顾客到来的概率为<?= 

1 一 P . 当服务设施空闲时，一个到来的顾客立刻得到服务，否则他加入队列（等待 
队列).只要队列中有顾客要求服务，此服务设施就不会中断服务 • 最后我们假定： 
每个顾客的服务时间是相互独立的（整值的）随机变量，它们具有公共的分布 { A }， 

对应的母函数为 /? g ) = 

假定时刻0到来的顾客发现服务设施是空 闲的. 他的服务时间立即开始.如果 
服务时间长为 n ， 而在时刻1，2,…， n 又没有新的顾客到来，则在时刻《，服务设施又 
变成空 闲了. 否则服务将不中断的继续下去.所谓忙期，就是从时刻0开始一直继 
续服务而未中断的那一段期间.现在，我们 证明： 分支过程理论可以用于分析忙期. 

在时刻0到来的顾客开始了忙期，因此我们称之为始祖.在始祖服务终止的时 
刻和此前的时刻到来的顾客可视为第1代.如果没有这种直接后代，则过程结束. 
否则，这些直接后代相继地去接受服务，在他们服务时间内，他们的直接后代又加 
人队列.我们此处得到的分支过程的灭 绝概率 等于： 一 个忙期结束的概率’而且总 
后代个数等于在忙期内来到的顾客（包含始祖）个数. 无需说，只有对1=1的队 

1. 按照中国概率界的习惯， “honest” 通译成“诚实的”. 译者注 

2. 沿用赖尔登 （ Riordan) 的术语，时间轴上的点用时刻 （ epoch) 表示，其他的术语，如时间、时 

刻…… ， 有许多其他的 含义. 
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列，在实际中才是适宜的. 

为了应用我们的结果，需要用到直接后代的个数的母函数 PU ). 根据定义，直 
接后代的个数由随机和 兄+ … +入\所 决定，其中 { X ,} 是相互独立的随机变量且 A 
分别以概率 P 和9取值1和0,而 iV 是始祖的服务时间的长度.因此，在现在的情况 
下， P (5)=^( P 5 + Q ), 从而" =/)< T ， 此处(7 =众（1)是服务时间的期望值.由此 推出： 
只有当户(7<1时，忙期才一定会结束.只有当时，一个忙期内到来的顾客数 
目的期望值才是有限的. 换句话说，当抑=1时，保证很拥挤，除非^7适当地小于 
1，整天排长队是必然规律. 

(C) 忙期 的持续 时间，上例仅考虑了一个忙期内的顾客数，但实际上， 一 个忙期 
究竟要持续多长，是一个很有趣的问题.为解决此问题，可采取下述方法 S 把一个 
时间单位看作分支过程的一个元素.当时刻 n 没有顾客到来时，称时刻 n 没有后代. 
如果时刻《到来的顾客的服务时间持续了 r 个时间单位，则时刻《 + 1，…，〃 + r 视为 
此时刻《的直接后代.假定在时刻0服务设施是空闲的.略为返思一下就会发 现：从 
时刻0开始的分支过程，或者一直进行下去；或者其持续时间恰恰等于从一个新顾 
客到来时开始的不间断的服务时间的持续时间.其直接后代的数目的母函 数为： 

P ( s )= q + p ^( s ). (5.7) 

其根 -r 是忙期结束的概率.总后代的个数为1的概率是9,而/>是“其总后代的个数 
等于从时刻0开始的一个忙期的持续时间的长度”的概率.显然，忙期的持续时间 
的长度的母函 数为： 沭 〆 0). ► 

12. 6习 题 

1. 分布 （1,1) 具有均值 E ( N )£( X ) 和方差 £ XN ) Var ( X ) 十 VaKWE ^ X ). 用下述两种方 

法验证之： （ a ) 母函 数法； （ b ) 直接用定义和条件期望的概念， 

2. 陷兽阱 [第1节例 （ b )]. 如果是几何分布，则欲求之分布亦然；如果{仏}是对数分 
布[参见（2.8)]， 则欲 求之分布为具有附加项的对数分布 ♦ 

3. 设 N 是一个服从泊松分布的随机变量，则在 iV 次伯努利试验中，其成功次数与失败次数 
是两个相互独立的随机变量.试将此结果推广到多项分布中去 .（ a ) 直接推广； （ b ) 用 
多元母函数的方法.[参见第 9.1 节例 （ d ).] 

4. 随机化 _设 JV 具有均值为 A 的泊松分布，并将 iV 个球随机地放人《个盒中 • 不用计算证 
明： 恰有 m 个空盒的概 率为： 

I n ) e -加 /rO — ，叶一' 

\m / 

5. (续上题 ) 1 2 . 试证 ： r (固定的正整数）个球随机地放入”个盒中恰有 m 个盒空着的概率 


1. 此法源自古德 ( LJ . Good ), 参见第3节例 （ d ) 中的引文 [80]. 

2. 此处用随机化一个参数的方法，导出各种漂亮的组合公式，源出文献 [83]. 
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是上述表达式中 fWr ! 的系数 . U ) 讨论与矩母函数的联系（第 11. 7节习题 24). ( b ) 
应用第2章 (11.7) 的一个不难的推导. 

6. 概率分布的混合. 设 {/J 和{沿}是两个概率分布， a >0,/3>0 ? a +^= l , 则 U /,+ 你]仍 
然是一个概率分布.讨论它的意义及其与第 5. 2节罐子模型中的联系.推广到两个以上 
的分布的情况.证明此种混合能成复合泊松分布. 

7. 用母函数法 证明： 对分支过程有下述关系用条件期望证 
明等价的关系： Var ( X n +1 )=^ 2 Var ( X ,)+^ V . 用此二关系中的一个证明 Var (兄）= 

tr 2 ( " 2 "一 2 +ix 2n ~ 3 + …+〆— 1 ) • 

8. (续上 题）. 若 n > m ， 试证 

9. (续上题). 证明 ( X m ， X n ) 的二元母函数为并用此以证明上题之论断. 

10. 具有两类质点的分支过程. 假定每个质点均能产生各种类型的质点.两种类型的后代的 
个数由两个二元母函数尸心）和所决定.于是，有两个依赖于质点类型的灭 
绝概率: T 和: V . 证明数对(: r ， y ) 满足下列方程 式组： 

x = P \ ix , y ) , y = P 2 ix 9 y ). (6. 1) 

证明上述方程式组在上至多只有一个异于 （1,1) 的根，而且 （ L 1 ) 
是方程组 （6.1) 的惟一的一组根的充分必要条 件是： 


，/，且 （1 — "11 


)(1 — fJL 22 )>"12"21，此处= 


BPidA) 

9 ^ 
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13.1 直观导引与例子 

我们将要研究与重复试验有关的能够重复（或循环）出现的事件样型.粗略地 
说，下面的理论研究的是具有下述性质的样型在 s 每次出现以后，试验重新开 
始，且 s 出现以后重新开始的试验是整个实验的重复.诸次 s 出现的等待时间序列是 
一个相互独立的具有公共分布的随机变量序列. 

最简单的特 例是： s 代表伯努利试验序列中“出现一个成功”. 一 直到第1次成 
功为止的等待时间服从几何分布.当第1次成功出现后，试验重新开始，第〃次成功 
到第 r + l 次成功之间的等待时间服从相同的几何分布.一直到第 r 次成功为止，所 
需的等待时间是 r 个相互独立的随机变量之和[参见第 9. 3节例 （ c )]. 当 S 代表 
“出现一个成功且紧随之出现一个失败”时，上述讨论亦然有效.样型 SF 发生以后， 
实验像最初一样重新启动，到下一次样型 SF 出现时所需的等待时间与前面那些试验 
独立.反例，在某一人群中，一个一个地选取并考察其生日，令 S 代表“样本中有两 
个人有相同的生日”，则 S 不是重复，因为它一旦发生，以后就一直保持下去.如果 
我们把 S 的定义改为“新加进样本的人的生日已经在原样本中出现过”，则 S 可以发 
生任意多次，但是，当 S 发生以后，过程不是从原始的情况开始.这是因为样本大小 
的增加，使出现重复生日更容易，第1次出现重复生日的等待时间愈长，第2次出现 
重复生日的等待时间愈短.所以等待时间序列既不相互独立也没有公共分布. 

循环样型理论的重要性，源于这种样型经常出现在各种随机变量序列（随机过 
程）中.控制随机变量序列的规律，可能很复杂，也不易排除完整的分析，但是， 
循环样型的存在，却往往可以讨论其本质性质和某些极限的存在性，等等.这种手 
段给许多理论很好地提供了简单的统一的处理方法. 

下面给出几个典型的例子，其中有些是非常有趣的.第一个例子是关于熟知的 
伯努利试验序列，而其后三个例子涉及较复杂的模型.在它们的描述中，我们用到 
了 “服务”、“顾客”等术语，但是在每个例子中，都给相应的随机变量序列以精确 
的完整的数学定义，它们能惟一地决定所有可能的事情的概率.实际上，不仅基本 
概率可以精确计算，而且还可以导出有关重复样型的一些有意义的 结果. 

例 （ a ) 返回平衡.在一个伯努利试验序列中， S 表示“成功的累积次数等于失 
败的累积次数”，正像我们以前做过的，我们用相互独立的分别以概率 > 和？取值1 
和一1的随机变量序列，…来描述试验序列.和通常一样，令 
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S 0 =0， 氏二兄 + … + X „. (1.1) 

则5„是累积的成功次数超过累积的失败次数， 而且 S 当且仅当 S „ = 0 时发生. 无需 
多说即 可见： 此事件发生以后，重建原始状态， 即是： 子部分和序列 S „ +1 ， S „ +2 ，…是 
整个序列&，5 2 ，…的一个概率的复制.[第4节例 （ b ) 还将继续讨论 .] 

( b ) 从负值返回平衡. 把上例进行修改，称 S 在第〃次试验发生，如果 

S „ = 0, 但 SCO , …， S ^!<0. (1.2) 

还是一样， 易见： S 发生以后，过程再从头开始，[第4节例 （ d ) 还将继续 .] 

( c ) 例 U ) 的另一个变 例是： 事件 S 代表成功的累积次数是失败的累积次数的入 
倍.（此处 A 是任意一个固定的常数 .） 如果 S 在第《次试验发生，它再在第 《+ m 次 
试验发生，只有在第 n + 1， …，第》+，》试验中，成功次数是失败次数的 A 倍才行. 
因此， S 接连两次发生之间的等待时间是独立同分布的.作为一个特例，考虑掷一颗 
均匀的骰子6«次恰巧出现《次幺点这一事件.（习题 4-5 还要继续讨论 .） 

( d ) 阶梯随机变量. 沿用例 （ a ) 的符号，定义一个新的样型 S 如下： 如果5,超 
过前面所有的和，即 

S „〉0， S n 〉 S 1 ，…， S n > S ”- i ， （1‘ 3) 


则说 S 在第《次试验发生. 

如果 S 在第《次试验发生，则过程按下述意义重新开始.假定 （1.3) 成立 ， S 
在第 n + m 次试验发生当且 仅当： 

(1.4) 

但是，差 Sm — S „ 是剩余序列，…的部分和，从而 S 由剩余序列定义的循 
环性与由全序列定义的循环性是完全一样的.换句话说，对 S 的研究，与它每次发生 
的时刻以前的全部过去的历史是无 关的. [第4节例 （ d ) 还将继续讨论 .] 

( e ) 伯努利试验序列中的成功 连贯. 在前面的例子中， S 是直接定义的，现在我 
们转而研究另一种情况，即是给出循环样型以严谨的定义，使这种理论更便于应 
用. 在古典的文献中，“长为 r 的成功连贯”的意 思是： 恰有或至少有 r 个不间断的 
成功序列.这两种表述都不能导出循环样型.譬如，如果要求恰有 r 次成功，那 
么，在第 《+1 试验出现成功时，就会把在第《次试验就已完成的那个连贯破坏掉； 
另一方面，如果要求至少有 r 次成功，那么，每一个连贯可以无限制的延长•显 
然，一个连贯发生后，不可能重建初始状态 • 古典连贯理论比较混乱，引进较系统 
的处理方法是可能的，这就是定义长为「的连贯为循环样型.第1个长为 r 的连贯 
是惟一定义的，我们 约定： 从每个连贯发生的时刻以后重新计数.按照这种约定， 
在序列 SSSISFSSS | SSS | F 中，恰含3个长为3的成功连贯（它们发生在第3,8,11 
次试验).它恰含5个长为2的成功连贯（它们发生在第2,4,7,9，11次试验).正 
式的定义 如下： 一个由《个字母 S 和 F 构成的序列，它包含的长为 r 的 S ■连贯的个 
数，等于这样一些既不间断又不重叠的区段的个数，其中每个区段内恰含 r 个 S . 
根据这种定义，我们说， S 发生在第 n 次试验，如果一个长为 r 的连贯在此时加进 
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了该序列.这就定义了循环样型而且在不影响其基本面貌的前提下大大地简化了理 
论： （在第7节中将继续讨论 .） 

( f ) 续上例，相关的样型. 显然，上一个例子中所考虑的问题，可以应用到更 
一般的样型中去，例如 SFSF 的发生.有趣的情 况是： 给定的样型不予限制.因此， 
“两次成功和三次失败” 的发生定义了一个重复事件，“或者一个长为 r 的成功连 
贯，或者一个长为^的失败连贯”的发生，也定义了一个重复 事件. （在第8节中 
还要继续 .） 

( g ) 盖革计数器. 用于宇宙射线和质点的计数器的型号可以用下列简单模 

型 1 2 来描述.按一致的速率来进行伯努利 试验. 一台计数器用来记录成功，但是每次 
记录以后，机器要对 r — l 次试验锁住.换句话说，在第〃次试验记录了一个成功当 
且仅当前 r — 1 次试验未予记录.计数器在《+1，…， w + r — 1次试验是锁住的，而且 
当第次试验的结果为失败时，计数器重新开启.计数器的输入量依赖于试验. 
每次记录都有后效，但是，当计数器开着（不是锁着）的时候，情况是完全一样的， 
并且试验重新开始，令 S 表示“试验的结果使计数器开启”，则 S 是一个典型的循环 
事件.[第4节例 （ e ) 将继续讨论 _] 

( h ) 最简单的排队过程， 由一个伯努利试验序列和一个只取正整数值的随机变量 
序列兄，不，…所定义.{不}具有公共分布{爲}，而且不仅它们彼此相互独立且与伯 
努利试验序列也相互独立.我们把第《次试验成功解释在时刻有一个顾客来到服务 
设施（或者一次呼叫来到电话交换机). 尤 代表来到服务设施的第”个顾客的服务时 
间. 在每一个时刻，服务设施或者是“空闲的”或者是“忙碌的”，而且过程依据下 
述规则进行：开始（在时刻0)，服务设施是空闲的，在服务设施空闲时来到的顾客 
立即被服务，但是在此顾客的被服务期间到来的顾客，服务设施处于忙期.在服务 
设施处于忙期到来的顾客构成一条等待队列.服务设施不间断地为顾客服务，一直 
到无顾客要求为止 • 此规则惟一地决定了这个过程，对于给定的顾客到来的过程的 
样本序列 （ S ， F ， S , S ， S ， F ， F ， …），和相继的服务时间的样本序列（ 3 ，1，17,2，〜），不 
难 求出： 在每一个时刻队长是多少，第《个到来的顾客的等待时间是多少.理论上 
讲，我们应算出所有的相关的概率，但是找到实际可行的方法并不容易.显然，服 
务设施的每一个空闲时间，其情况与时刻0完全一样.因此，用我们的术语来说， 
“服务设施 空闲” 这种偶然事件构成一个循环样型.我们将要看到，这样一个经常有 
的循环样型具有重要的结果，例如，它蕴涵在时刻”的队长的概率分布； 第” 个到来 
的顾客的等待时间；和相应的随机变量序列当 ”― 00 时所趋于的确定的极限（定理 
5.2). 换句话说，循环事件的存在，使我们能够证明稳定状态的存在和分析它的最 

1. 这是 I 型计数器的离散模式 . n 型计数器在习题8中讨论. 

2. 我们用时刻表示时间轴上的一个点.术语等待时间考虑为一个时段.这些习语是由雷阿德引进的. 

因为在排队论中，时间、时刻等等的各种含义容易引起误会- 
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本质的性质. 

( i ) 机器维修.现在用循环样型来处理另一个与上例不同的例子，比例中来到的 
“顾客’’不再遵从伯努利试验所固有的规律.为确定起见，在此例中，把“顾客”理 
解为同一类的机器群出现损毁，而 “ 服务”理解为修理.我们仍然沿用服务与队列 
结构的习语，但是在机器损毁时（或“顾客到来”），引进新的机器 设备. 假定共有 
N 台机器，并考虑两个极端的 情形： 

•首先假定一直处于工作状态的机器，在下一个时刻损毁的概率为 A 当它损毁 
时，就用一台同一类型的新机器来替代，而服务时间理解为安装一台新机器 
所需要的时间.我们假定这 JV 台机器是相互独立的，而且它们的损毁由 N 次 
独立伯努利试验序列来控制. 注意： 较多的机器在队列中，而较少的机器处 
于工作状态，因此，任何一个时刻的队长都影响新到来的顾客（或要求服务 
的呼唤）的概率.这与前一个例子明显不一样，但是， “ 服务设施空闲着”仍 
然构成一个循环样型，因为当它发生以后，我们面对的是完全一样的情形. 

•现在假定每次修理后都有后效，其后效是将来损毁的概率增 大了. 这意 味着： 
机器经过修理后性能变坏了，它再也不能恢复到开始时的状态了 • 在这种情 
况下，就没有循环样型来帮我们分析问题了. ► 

13. 2定 义 

考虑一个具有结果巧(）=1，2，.._)的重复试验序列.它们不必独立（在马尔 
可夫链中的应用特别有趣）.和通常一样，原则上假定试验可以进行无穷多次， 
而且概率 P { E } , ，& ，…，仏 } 可以相容地对一切有限序列给予定义.设 S 是有限序 
列的一个属性，即是假定对每个有限序列 （ A, ，…， g )，可以惟一地判定它是 
否具有属性我们约定，语句在（有限或无穷）序列，…中的第《个 
位置处出现”是“子序列£；,，&，…，仏具有属性的简称，据此， S 在第《次 
试验中出现仅仅依赖于前《次试验的 结果. 易见，当我们说及“循环事件的 
时候，实际上，我们所指的是一类用 S 的出现这一性质所定义的事件.所以，与 
其说 S 本身是一个事件，倒不如说它是一个符号.我们在此处滥用了一句话，但 
是这应该能接受，正如问题本来没有维数，但是 “一 个二维问题”的说法，人们 

通常还是能够接受的. 

定义 1 属性 S 定义了 .一 个循环事件，如果： 

( a ) 为使 S 在序列 ( E jt ， E h ，…， Ei m ) 的第《个和第 w + m 个位置出现，其充分必要 
条件是 S 在两个子序列 ( EpE h ，…， EJ 和 ( Ed ，…， I )的最后的位置出现. 

( b ) 如果 S 在第《个位置出现，则有恒 等式： 

P { E jt ，…，, E ^} P { E ^ ，…， 

现在，我们说“在序列（乓,，仏，…）中， S 第1次出现在第《个位置”等等，就 
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有意义了.显然，对每个循环事件 S , 有如下定义的两个 数列: 


= PU 出现在第 n 次试验}， ， 、 

(n = 1 ， 2 ，… ） 

人= PU 第1次出现在第 n 次试验 } ， 


为方便起见，定义 

/ 0 = 0，％ = 1， 

并引进母 函数： 

on oo 

F(s) = ^jfkS k ^ Uis) = Y u k s k • 

k —1 i =0 

注意 Ud 不是概率分布，事实上，在现在这种情况下， 
第1次出现在第 n 次试验”是互斥的，从而 


( 2 . 1 ) 

( 2 . 2 ) 

(2,3) 
然而，事件 


/ = HI) = D 入 < L (2. 4) 

7l == 1 

显然，1一/应解 释为： 在无限延续的试验序列中 s 不出现的概率. 如果/=1，我们 

可以引进具有下述分布的随机变量了： 

i 3 {T — n ) — f n . (2. 5) 

甚至当 /<1 时，我们也用同样的符号.因此丁是一 个不规范的或有缺欠的随机 
变量，它有 1 —/的概率不取数 字值. （为了我们的目的，赋了以符号 °°， 显然，这 


不需要什么新规则 .） 

S 的等待时间， 即 S 第1次出现时所需要的试验次数（含 S 出现的那一次试验） 
是一个具有分布 （2.5) 的随机变量，然而此随机变量确实只能定义无穷序列 （ A ,， 
民，…)的样本空间上. 

由循环事件的定义 可知： S 第1次出现在第 &个试 验而第2次出现在第”次试验 
的概率为 /*/„-*. 因此 S 第2次岀现在第 n 次试验的概率/! 2) 等于 

f ? + - + /“，. （ 2 . 6 ) 

上式右端是 {/„} 与它自己的卷积，因此是两个独立随机变量之和的分布，其中 
每个随机变量的分布都是 (2.5). 更一般地，如果 S 第 r 次出现在第 n 次试验的概率 


1) 


(2.7) 


用 / T 表示，贝 U 

/T = /】/二 u 十 / 2 + …+ /h /! 

这个简单的事实，可以用下列定理表述 • 

定理 令/^ 是 S 第 r 次出现在第”次试验的概率 • 则{/^}是广个相互独立的具 


有公共分布 （2, 5) 的随机变 量丁! ，…，丁 r 的和 

丁 ⑴=乃 + T 2 + m + T r (2-8) 

的分布.换句话说，对固定的具有母函数 KD . 

特别地，由此推出： 


F r ( l ) = f \ (2.9) 

71=1 

用语言来表示 ， S 至少出现 ^ 次的概率为尸 （这是早已料到的事实) • 现在我们引进 
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定义2称循环事件 s 是常返的，如果 /= r ; 若/<1，则称 S 是暂留的. 

对于暂留的 S 至少出现 r 次的概率尸趋于0,而对常返的 S ， 此概率永远是 
1. 用语言来说，常返的 S 概率为1发生无穷多次，而暂留的 S 只能发生有限次.（此 
陈述不仅是描述性的，如果在无穷序列尽,，氏 2 ,…的样本空闲中考虑问题，还是完全 
正确的命题 .） 

我们还要一个定义，在伯努利试验序列中，一次返回平衡[第1节例 ( a )] 只能 
在偶数次试验 发生. 在此情况下， / 2 „ +1 =« 2 „ m =0, 且母函数尸⑴和口⑴视为 s 的幂 
级还不如视为/的幂级数.类似地，在第1节例 （ c ) 中，如果 A 是一个整数，只有 
当 / z 是 （ A +1) 的倍数， S 才能在第 n 次试验出现.我们把这种情况称为 S 是周期 
的.本质上，周期的循环事件与非周期的循环事件只是符号上的差异，但是，每个 
定理都要求特别注意周期的这一例外情况.换句话说，周期的循环事件有许多无法 
弥补的麻烦的性质. 

定义3 称循环事件 S 是周期的，如果存在 A >1， 使得 S 只能在第 A ，2 A ，3 A … 
次试验才可能出现（即 是： 当”不能被 A 整除时， m „ = 0). 具有上述性质的最大整数 
A >称为 S 的周期. 

最后，我们 注意： 在无穷序列巧,，&，…的样本空间中， S 第 r — 1次出现到第 r 
次出现之间的试验次数是一个有定义的随机变量（可能是有缺欠的随机变量），它具 
有 T r 的概率 分布. 换句话说，随机变量 T ； 确实代表 S 的接连两次出现之间等待时间 
(循环时间).为了不超出本书的样本空间的范围，我们曾分析地定义过八，但是， 
仍希望在其直观解释中展现出仓的概率 背景. 利用循环事件的概念，可以把一类比 
较一般的随机变量化为独立随机变量之和.反之，任 一分布{/„}，《==1，2^_可以用 

来定义一个循环事件.我们用下述例子来证明这一 论断： 

例 自我更新体. 考虑一个电灯泡，或一段保险丝，或任意一种寿命有限的零 
件.当第一个用坏时，马上换上同一种类型的第二个零件；第二个坏了时，第三个 
又立刻换上；等等.我们假定零件的寿命是只取某一时间单位（一年、 一 天或一 
秒）的整数倍的随机变量.于是，每一时间单位可视为一次试验，其结果可能是 
“更换，’或“不更换”，可以把接连的更换看作是循环事件.如果一个新零件恰好能 
用《年的概率为/«，则 {/ J 为循环时间的分布.如果零件的寿命必然是有限的，则 
E /„ = l ， 此时循环事件是常返的.通常，事先能断定零件的寿命不能超过某个值 
m ， 此时，母函数 F G ) 是一个次数不超过 m 的多项式.在应用中，我 们希望 求出： 
在时刻 w 要换新零件的概率它可由方程式 （3.1) 算出_此处，我们得到了一 
类由任意分布所定义的循环事件. /<1 的情形并不排除，此时1 一/可以解释 

为零件永不坏的概率. ► 


1. 第一版不用此术语，但现在这一术语用到马尔可夫链中去更好些. 
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13. 3基本关系 


沿用 （2.2) — （2. 4) 中的记号.我们将研究 {/,,} 与之间的关系_ S 在第 r 次 
试验中第1次出现而且又在第》次试验中第2次岀现的概率为 f v u n .^ t 在第〃 次试验 
中第1次出现的概率为人=/>。.因为这些事件是互斥的，所以 

' = /i +/ 2 岣 广 2 + …+ /„w 0 ， in ^ 1). (3-1) 

容易发现，上式右边是卷积 * UJ ， 其母函数为 f (5) u ( 5 ); 上式左边是缺 
«。这一项的数列 U „}， 所以其母函数为于是由 （3.1) 可得： l /(5)- l - 
F ( s ) U ( s ). 所以，我们证明了下述定理. 

定理1 {〜} 与 {/„} 的母函数有下列 关系： 


U(s) 


l-F(sY 


(3.2) 


注意： 当 | s | <1 时， （3.2) 的右边可以展成收敛的几何级数 SPXd • F 、 5 ) 中 

对应于的系数为，它是 S 在第 w 次试验中第『次岀现的概率 •（3. 2) 等价于： 

A = +_/?)+〜• （3.3) 

此式说明下述明显的 事实： 如果 S 在第》次试验出现，则它在前面出现了 0，1，2,…， 
77— 1 次.（显然 r >« 时 

定理2 S 为暂留的充分必要条 件是： 


u — ^ Uj (3. 4) 

j = ^ 

为有 限数. 当此条件成立时， S 迟早总会出现的概率/为 

尸 =^^. (3.5) 

u 

注意： 我们可以把〜解释为一个随机变量的期望，当 s 在第）次试验中出现时 
此随机变量取值1，否则取值0，于是 M 1+ W 2 + …是在77次试验中 S 岀现的次数 
的期望值.所以， M — 1可以解释为无穷多次试验中 S 出现的次数的期望值 • 

证由于系数〜是非负的，故当 ^-1 时， 1/(5) 单调增加，因此，对每个 N 都有： 

N ，-. 0 

y^j U n ^ limlKs) ^ ： y^jU n = u. 

因为 /<1 时， L 7(5)- K 1 —/) ' 而当 /=1 时，以⑴ — oo . 定理得证. ► 

下面的定理特别重要 1 证明的方法是初等的，由于它对理解问题的概率意义并未 


1. 特殊情况容易证明（见习题 1) 而且早为人知.大量的论文都致力于改善条件，但一般都认为有的条 
件是必需的 • 定理3的最一般的情形的证明见[8 4 ].本书第一版出版后，钟开莱发现，定理3可以从 
科尔莫戈罗夫关于马尔可夫链的渐近性质的定理推出来.许多数学家对各种不同，概率分布类来对比 
定理作各种形式的推广.这些研究对近代概率论提供了许多有效的研究方法.最后，得到了类似定理 
3的结果对任意的概率分布都成立.一个初等的（但并不简单）的证明可参见第二卷第 11.9 节- 
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多大帮助，所以我们把其证明放在本章的最后. 

定理3设 S 是常返的非周期的，且令 " 是循环时间的均值，即 
是 

( P 可能为°°)，则当 oo 时有 

u n — fJL 1 

(如果平均循环时间为°°，则 u n — CO . 

S 为非周期的这一限制很容易忽略.实际上，当 S 有周期; I ，则级数只包含？的 
指数幂若对任意整数 A >1，上述情况不满足，我们称此级数诚实，定理3可表述如 
下： 若 F 为诚实的概率母函数，17由（3_2)式定义，则 — 1//(1)，则若 S 有周 

期 A ， 则 PV / A ) 为诚实的概率母函数，则 U ( s 1/ A ) 系数趋于 A / J ^ CL ). 

定理4如果 S 是常返的且具有周期 A >1，则 

u TtX — 又 /"， （3. 8) 

当左不能被久整除时，^ — 0. 


(3. 6) 

(3.7) 


13. 4例 子 


( a ) 伯努利试验序列中的成功. 作为一个平凡的例子，令 S 为伯努利试验序列中 
的“成功”则对一切成立 • 因此由 （3.2) 有： 


Uis) - 


1 — qs 

1 — 5 


F(s ) = 


ps 

1 — qs 


(4*1) 


在此特殊情形，定理2确认了一个显然的事实，接连两次成功之间的等待时间服从 
均值为1//>的几何分布. 

( b ) 返回平衡[第1节例 （ a )]. 如果在第 々次 试验正面出现的累积次数等于反面 
出现的累积次数，则必有々 = 2〃 是偶数，此时，一次平衡的概率等于 


u 2 ,= { 2 n ) p n < i n = 



{~ Apq )\ 


(4.2) 


因此，由第2章（8_ 7 )的二项展 式有： 

u(s 卜 7f^? 


(4,3) 


从而由 （3.2) 可得： 

F(s) = 1 - Vl-4pqs f . ( 4 * 4 ) 

二项展式的第二个应用是导出 / 2 „ 的精确表达式（当/> = |时，“2”和/ 2 ，的精确表 

达式在第 3. 2节和第 3. 3 节中已经用组合方法导出了，母函数 U 和 F 已经在第 11. 3 
节中用另外的方法导出了.下面将会看到，只有现在的方法不需要其他技巧 .） 
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当时， （4.4) 中的平方根等于 I p—g I ，所以 

/ = 1 — | p — q I . (4. 5) 

因此，返回平衡是一个周期为2的循环事件，当时，它是暂留的， 而 p=q 
时它是常返的.至少 r 次返回平衡的概率为尸. 

当户+时，初返平衡的等待时间是一■个完好的随机变量，然而广（1) =0 °， 

所以平均循环时间是⑺ . （这也可以从定理4及0推出 .） 平均循环时间是⑺蕴涵 
了： 在无限制地扔一个硬币的游戏中，随机起伏与服从正态分布的熟知的样型相差 
甚远.这种起伏的较为反常的但却是真实的现象，在第3章已经讨论过了. 

( c ) 从负值返回平衡，在第1节例 （ b ) 中，返回平衡时，限制了其前面的部分和 

S } 都不能为正的.这种循环事件的循环时间的分布由下式所 定义： 

fz n = P { S Zn = 0， Si 〈 O ,***, S 2 ,^i <C 0} (4. 6) 

当然， fu - i =0. 似乎不大可能找到直接导出此概率的推理，但是却可从上面的例子推 
出.确实如此，在满足 （4.6) 中的条件的样本(足，…， X 2 „) 中，均含 n 个正的和《个 
负的，所以，它与 （ _ 足，…， 一 U 的概率是 一 样的.因为初返平衡发生时，它必须经 

过正的或经过负的，而且两种情形也具有相同的 概率. 所以/2« = + / 2 «，此处是 

返回平衡的分布，它在上一个例子中已经找出.因此，我们的循环时间的母函数为： 

F - ⑴ ~ \ ~ \ \/l ~ ， （4. 7) 


从而 


[7—(5) 


1 + yi — 4 ：pqs 


事件 S 是暂留的，它早晚要发生的概率为 


2 


1 — \/1 — 4 pqs 
2pqs z 

p — Q I - 


(4.8) 


( d ) 阶梯随机 变量. 只有当 & = 2 n + l 是奇数时，第一个正的部分和才能出现在第 

々次试验.其对应的概率 记为： 

P{Si < 0,… ， S 2 „ = 0,S 2 ^1 ^ 1}. (4. 9) 

因此 { sU 是第 1 节例 （ d ) 中的循环事件的概率分布.因为（ 4 .9)中的条件要求 
1^ = +〗，所以前一个例子中的循环事件出现在第2«次试验.由此 推出 ： h = 

p - « 2 -. 因此，用明显的符号，有 

<J)(5> = psU (5) = -- ^\ qs 4 夕^ ~_ ( 4 . I 0 ) 

这是已经在第11章 （3.6) 中求出的“初过时”的母函数.应用第2章 （8. 7 )的二 
项展式，由 （4.10) 可推出的精确表达式.此表达式与第 3. 7节定理2中用组 

合方法找出的表达式是一样的. 

( e ) 盖革计数器.在第1节例 （ g ) 中，如果在时刻1没有记录，它仍然是开启 
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的.否则它锁住，而且在时刻 r +1 没有到来时，它又开启，如果在时刻 r +1 有质点 
出现而在 2 H ~1 没有质点出现，则计数器在时刻 2 r+l 开启，…… . 因此，循环时间 
的母函数为 


qs 4- qpP' 


- qp 2 严 1 H - 


QS 

l — ps rt 


(4.11) 


(再见习题 7 — 9.) 

(D 最简单的排队问题[第 1 节例 ( h )]. 这里，当时刻1无顾客到来时，服务设施 
空闲着，如果到来一个顾客，就会产 生一个 所谓的“忙期”，此忙期要持续到服务设施 
第1次空闲时才 终止. 忙期的母函数已经在第 12. 5 节例 （ c ) 中用分支过程的方法推 
出过. 在现在的情形，循环时间的母函数为炉 + P 平 G )， 这与第12章 （5.7) —样. 

( g ) 扔多个硬币游戏中的平局. 我们用一个简单的例子来 说明： 无需有关母函数 
的确切知识，就可推出一些确切的结论的可能性 • 令是任意一个整数，并考虑 
一个同时独立地扔 r 个硬币的试验序列.令 S 为这样一个循环 事件： 全部 r 个硬币都 
处于同一个位相（即是 r 个硬币扔出的累积的正面次数都相同).此事件出现在第《 
次试验的概 率为： 



(4.12) 


右边诸项是■的二项分布，由正态逼近易见：对每个固定的「，当时有 

〜 (4 疒 2〆’" (4.13) 

(求和号中的 j 取遍从 一 *|"«到的 一 切整数 •） 由积分的定义有 


因此， 




(4. 14) 

(4.15) 


这蕴涵了当时 S ⑷发散，但此级数在时收敛 • 由此推出： r <3 时 S 是常 
返的，而时是暫 留的. 因为当时，0,所以平均循环时间是⑺.（比 
较习题2和 3.) ► 


13. 5迟延循环事件 • 一个一般性极限定理 


我们现在引进一个比循环事件稍为广一点概念，除了术语和关于记录的基本方 
程以外，不需要作什么特别的说明. 

也许，关于迟延的循环事件的最好的非正式的描述是 •• 在它们对应的试验序列 
中，我们“遗失了开头而在中间开始”.到 s 第1次出现时的等待时间服从分布{匕}， 
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它与 S 下一次出现的等待时间的分布{人}不一样.所有的理论，均无需改变就可应 
用，除了下面 一点： s 第1次出现以后的试验的样本空间与起始的样本空间不同，而 
S 每次出现以后的样本空间完全是重复的. 

情况很简单.我们按常规 而行，并 约定： 当说及一个迟延循环事件 S 时，就用循 
环事件的定义只是不考虑直到 S 第1次出现时那些试验而已，这样来理解迟延循环事 
件， S 第1次出现的等待时间是一个随机变量，它与其后诸循环时间相互独立，但其 
分布 } 可能与其他诸循环时间的公共分布 { /„ } 不一样. 

令％ 是 S 在第 / z 次试验出现的概率. 为了推导％的表达式，我们进行如下推理. 
假定 S 在第6 <〃 次试验出现，关于其后的子试验序列， S 就变成了一个通常的循环 
事件，所以重新岀现在第 n 次试验的（条件）概率为因为， S 在第《次试验出 
现有两种可能，或者它在第 〃次 试验第1次出现；或者它第1次出现在第次试 
验.把所有的概率加起来， 得到： 


= b n - {- b^Ui + 6 旷 2“2 + …+ biU^i + b Q u n . ( 5 . 1 ) 

于是我们得到 了队的 精确表达式.[另一个证明见第10节例 （ a ).] 关系 （5.1) 
可以用卷积方程写得更紧凑一些 

{^„} = {6„} * {«„}. (5. 2) 

这蕴涵了对应的母函数满足下列的恒 等式； 


V ⑴ 


= B(s)U(s) = 


B(s) 

1-FCsY 


(5,3) 


例 （ a ) 在第4节例 ( a ) —例 ( d ) 所考虑的伯努利试验序列中， 事件& = 1是一个 
迟延循环事件.其第1次岀现的等待时间的母函数是如 (4. 10) 所定义的办接连两 
次岀现 { S „ = l } 之间的循环时间的母函数是 F ， 它是返回平衡的母函数[见 （4.4)]. 
因此，在现在的情形， V =0/(1- F ). ► 

容易 证明： ％的渐近性质本质上与、的渐近性质一样.为了避免一些不足道的 
场合，假定 S 是非周期的 1 .由第3节知，在此假设下， a 趋于有限的极限，而且 

的充分必要条 件是： S 是暂留的. 


定理1 

如果心-则 



X 4— 〜，其中 b = Ed k ^ B ( l ). 

(5.4) 

如果 Sw , 

⑴，则 



* v n ~~ bti ^ 

(5. 5) 

特别地， 

若 S 是常返的，则％ —/ T 1 . 



证令 G 因为心<1，显然，由 （5.1) 得知：当”〉是时 

+ … -^bkU^k ^ b 0 u n ~\ - Vb k u^ k + r k9 ( 5 . 6 ) 

选々充分大以使对充分大的〃， （5.6) 中最左边的和数大于心一 2 e 9 而最右 


1,周期循环事件在定理10, 2中讨论 • 定理1的另一证明见（第10节例 ( a )). 
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边的和数小于 “+2 e . 因此 （5.4) 成立.结论 （5.3) 可由把 （5.1) 对一切 ”求和 
而得，也可在 （5.3) 中令 s = l 而得. ► 

下面转而研究一个广为应用的一般的极限定理，假定对某一特定的系统有可数 
多个可能的状态，£：:，…，而且从二个状态转移到另一个状态依赖于一个某种类型的 
随机机构.例如，在简单的排队过程第1节例 （ h ) 中，如果有6个顾客在队列中 
(包括正在接受服务的那个顾客），则说此系统处于状态 一 个包含17个服务的问 
题可能要求18个数去区别系统的状态，但是，一切可能的状态可以在序列 EpE 2 ，… 
中 标序. 我们不需要考虑如何做得最好，因为下面的定理并不导出一种计算概率的 
实用方法.它是一个纯存在性定理，它证明了对实际中经常遇到的情形，稳定状态 
都是存在的.这具有抽象意义，也有实际价值，因为按常规，一个稳定状态的数学 
分析远比研究依时过程简单. 

假定对 《=1，2，".， 对每 一个; 2 元组 （n ，•••，/-„)， 系统在时刻 0，1，…，72_1 处于 
状态 ( E r 。…， EJ 都有完全确定的概率.我们不再引进关于这些事件相互依赖的假 
设，也不引进关于一个状态转移到另一个状态的概率的假设.为简单起见，我们仅 
仅考虑 在时刻 《 系统处于状态的概率 ft . (定理推广到二元组，三元组等等都是 
很容易的 .） 最苛刻的假 设是： 存在一个联系我们的过程的循环事件£，例如，在排 
队过程第1节例 （ h ) 中，就是这样一个循环事件.在这种情况下，如果 S 是暂留 
的，则存在一个正概率使队列不终结.这蕴 涵了： 我们迟早要遇到一个没有结尾的 
队列，也就是说，队列无穷地增加其长度.这是一个某种类型的极限定理，它说明 
在实际中这种服务是不可能的.这个例子，将说明 “ S 是常返的”这一条件所起的作 

用.（引进非周期性是为了避免一些不足道的情形 .） 

定理2假定在我们的过程中，有一个非周期的常返的（可能是迟延的）循环事 

件 S ， 则 

(5.7) 

而且当平均循环时间"有限时，有 

S p M = 1 (5. 8) 

否则，/^=0. 

证对任何时刻而言，只有 S —出现，则过程重新开始.因此，在 S 于某一时 
刻出现的条 件下， 在此后 n 个时间单位却又在 S 下一次出现以前发生的条件概率 
发：^是完全确定的.对于迟延循环事件而言，我们还要求引进概率/，，它是仏 f 
生在 时刻” 却又在 S 第1次岀现以前的概率.（显然，对非迟延的循环事件 S 而言， 

- ) 

现在把在时刻 n 发生”的方法根据时刻《以前 S 最后一次出现的情况来进 
行分类.第一类， s 未出现，相应的概率为 yl r ) ; 第二类，存在 s 在时刻是出 
现过但在时刻々到〃之间未出现，相应的概率为把这些互斥的事件的概率加 
起来得到 
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Pi r) 


= yi r) + g ( ^i + + …+ 政)〜 ( 5 . 9 ) 

(此处，我们沿用定理1的符号.对于迟延循环事件，从=0,对于非迟延循环事件， 


v k = u k ,yi r ^g < n r \ ) 

除了右边出现以外， （5.9) 与 （5.1) 是类似的.显然，此数小于 S 在时刻77 
以前不出现的概率，又因为 S 是常返的，所以当 n — oo 时 〆 ，—().对于其余的项，我 
们可以应用定理1，只不过把符号 W 用％ 代，匕用代而已.因为 S 是常返的， 
所以％ —/ T 1 ， 由此 推出： 


iS 以 • (5. 10) 

k =0 

这就证明了极限 （5.7) 的存在性.为了证明它们加起来为1，注意到在每一个时刻， 
系统总是处于某一个状态，所以 


2# 


gn 


0 


是循环时间大于等于 n 的概率，即是 


gn= fn+ H - • 


因此，由第11章 （ U ) 


2 〆 


«=0 


[第10节例 （ b ) 中的极限定理是现在的定理的特例 .] 

13.6 S 出现的次数 


(5.11) 


(5. 12) 

► 


到现在为止，我们用接连两次出现的等待时间研究了循环事件&下面的处理 
常常会 更好： 给定试验次数取前 W 次试验 S 出现的次数 iV n 作为基本的随机变 
量*下面将研究〃充分大时，的分布的渐近性质.为简单起见，假定 s 是非迟 


延的. 

如像 （2.8) 中一样，令7^为6第 r 次出现时所需的试验次数（含第 r 次出现那 

次试验). T w * N „ 的概率分布有下列关系： 

P{N„ >r} = P{V r) <«}. (6. 1) 

我们从下面的简单情形开始： S 是常返的，其循环时间的分布 {/ J 共有有限的均 
值"和方差因为是 r 个相互独立的随机变量的和，第 11.1 节的中心极限定 
理 断言： 对每个固定的 X ，当 ； ooo 时 

p| ~ rfX <x|-» ^(x) (6.2) 


此处，沉 ( X ) 是正态分布函数. 


令 n — oo 和满足下列 条件: 
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ru 


4 r 


则由 （6.1) 和 （6.2) 推出 


P{N n >r} — 

为了把这一关系写成更熟悉的形式，引进简化的随机变量 


N ： 


— n ) 





不等式与下列不等式是等价的 


N ； 





71 





(6.3) 

(6.4) 

(6.5) 


( 6 . 6 ) 


把 （6.3) 除以 r ， 易见 w / r — 户，所以 （6.6) 的右边趋于一二因为 9 U — x ) = l — 
D ， 所以 

P{N* x} -*■ 9^(x ) 或 P{N* <—x} —1 — 贝 ( 工）， （ 6.7) 

因此我们证明了下述 定理： 

定理正态逼近.如果循环事件 S 是常返的，而且其循环时间具有有限的均值 " 
与方差〆，则 S 在第 r 次出现时所需的试验次数 T ⑺与前 n 次试验 S 出现的次数 iV„ 都 
渐近地服从正态分布，如 （ 6. 2) 和 （ 6.7) 所示. 

注意： （6.7) 是关于相依随机变量序列 { N „} 的中心极限定理.它的用处将会 

在下一节关于连贯理论的应用中展现出来 • 

关系式 （6.7) 使下述估计是合 理的： 

£( N") 〜 n /々 Var ( N „) 〜 no 1 丨 • (6.8) 

此处符号〜表示两边之比趋于 1. 为证 (6. 8), 请注意凡是《个（相依的）随机变量 
K 之和，而每个 I 当 S 在第是次试验岀现时为1否则为 0. 因此 £：( Y *)= m *， 从而 

£XiV„) = + «2 + …+ 〜• （ 6.9) 

因为 A — 〆 1 ， 这蕴涵了 （6.8) 的第一个关系式.类似的推理可证 （6.8) 的第二个 
关系式.（见习题 20.) 

不幸的是，许多随机过程和一些应用中出现的循环时间的期望都是无穷大 * 在 
这种情况下，正态逼近要代之以具有完全不同的性质的更一般的极限定理 [85] ，而随 
机起伏显示出想像不到的特性.例如，人们直观地想像瓦(以„)随77的增加而线性地 
增加，“因为试验次数变为两倍时 S 出现的次数平均来说也是原来的次数的两倍.”事 
实并不如此.如果平均循环时间是无穷大的话，那么 M „ — 0， 从而由 （6.9) 知， 
ECN„)/n 一 Q. 这意味着在长连贯中， S 的出现变得非常稀少，只有某些循环时间是 
不可思议的长， S 才可能出现.下述二例，将要说明此等现象是容易的 • 

例 （ a ) 令 S 为扔硬币的游戏中，[第4节例 （ b )， 其中/ >=+] “返回平衡”这一 


事件，则〜〜 1/ A ， 而且 （6.9) 逼近于积分 （ to ：)—、 而这蕴涵了 E ( N 2 „) 〜 
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2 TnAt . 因此，到时刻 n 的平均循环时间依、 A 的速度增加.而此结果的一些严酷的 
推论在第3章中花了很长的篇幅加以讨论. 

( b ) 返回第4节例 （ g ), 考虑重复掷 r =3 个硬币，令 S 表示3个硬币都处于相同 

的位相.我们曾经 证明： S 是常返的循环事件，而且^〜 7^—. 因此，粗略地说， 

V3 • 丌 ” 

E ( N „) 增加的速度与 log n 差不多，所以到时刻 n 的平均循环时间与 n/log n 的大小的 
阶差不多. ► 


13. 7在成功连贯中的应用 


下面将用 r 表示一个固定的正整数， S 表示伯努利试验序列中长为 r 的成功连贯 
的出现.第1节例 （ e ) 中所定义的连贯的长度是重要的，否则连贯就不是循环事件 
了，并且计算变得很复杂了.如在 （2.1) 和 （2.2) 中一样，〜是£在第”次试验中 
出现的概率，而/„是第1个长为 r 的连贯出现在第;2次试验的概率 • 

第 w ， w — l ， n — 2,…， n — r +1 这 r 次试验都出现成功的概率是在这种情况下， 
S 在第》—以6 = 0,1，〜，「_1)次试验出现而且其他的々次试验出现々次成功的概率是 
u n - k p k . 因为这 r 个事件 1 是互斥的，所以有下述循环关系 2 

u „ + u^i /> + ••• + m ^ h-i P~ l = p r ， r . (7. 1) 

显然 

Ml — W 2 = ••• — Ur-l = 0 , m 0 = 1 . ( 7 . 2 ) 

乘 （7.1) 式两边以/，且对《=「，「+1，「+2，〜求和得到其左边为： 

{ U ( s ) 一 1} (1 + 菸 + + …+ 户广 1 厂 1 ) (7.3) 

而其右边 为：， （/ + s 〜+ …).此二级数都是几何级数，故有 

= ^- (7.4) 

丄 —— pS 丄——5 


或 


U(s) = 


l-s-\~qp r s ^ 1 
a-s)(l — p r s r ) 


(7.5) 


由（3*2)，可得 循环时间的母函数为 


F(s) 


p r s r a-ps) 

.—s^~ qp r s^ 1 




l-qsil + ps^ - h p ^ 1 s 1 ^ 1 )' 


(7.6) 




由 F ( l ) 

过任意上界，因为仏 


1 这一事实可知：试验序列很长时，任意长的连贯出现的次数可以越 

1 ，所以平均循环时间 f 可以由 （7,1) 式直接得到.因为 


1. 原著在此处是“概率”，因并无“概率是互斥”的定义，故把“概率” 一 词改为“事件”. —— 译者注 

2. 古典办法包含在推导/„的循环关系中，但其方法较复杂，而且也不能用到其他类型的连贯或者样 
型 SSFFSS 中去，而我们在此处却可以不加改变地应用到这些问题上去[参见第8节例 （ c )]. 
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我们也要求知道方差，这最好去计算 F ( s ) 的导数. 

最好先整理 （7.6) 的分母再微分.经过简单的计算，得到长为 r 的连贯的循环 
时间的均值与方差 如下： 


% 

fX — 



_1_ 2 r + 1 _ 

(qp r ) 2 ~ qp r ~ ~ q 2 


(7.7) 


由前一节的定理 可知： 对于充分大的 〜 《次试验中所产生的长为 r 的连贯的个数 iV „ 


是渐近正态分布的，这就是说，对任意固定的 a <斤概率 


^ +a£7 V7 <Nn< ^ + ^V7 (7,8) 

趋于贝(用一沉 ( a ). 此结果首先由冯•米泽斯所证明，但其计算很长.表 13-1 给出了 
几个循环时间的均值 • 


表 13-1 假定每秒进行一次试验，成功连贯的平均循环时间 


连贯的长度 

p = 0 . 6 

p = 0 . 5 (硬币） 

P = ~^ (锻子） 

r =5 

30. 7秒 

1分 

2. 6小时 

10 

6. 9分 

34, 1 分 

28.0 月 

15 

1. 5小时 

18. 2小时 

18 098年 

20 

19小时 

24. 3天 

140. 7百万年 


第 11. 4节中的部分分式法，使我们能推出一些很精确的逼近 • 容易 看出： （ 7 .6) 
的第二个表示式的分母有惟——^个正根 s = x . 对于每个满足 M 的实数或复数 h 


总有 

| 炉（1 + + …+ 夕广 1 厂 1 ) | < 识（1 +/«: + …+ ) = 1 (7.9) 

其中的符号只有当左边所有项均具有相同的幅角（即时才能成立.故工的绝 
对值小于 （7.6) 式中的分母的其他的根的绝 对值. 因此，可对力二工用第11章的公 

式 （4* 5) 和（4_9)，令 L7 ( 5 ) = 々 r (l —#)， V ( s ) = l — s + gp ? 广 1 . 因为 V (： r )=0, 


所以 


f 〜 (工一 1)(1 — poo ) ， 

“ ( r + 1 - rx)q 



(7. 10) 


在72次试验中没有连贯的概率为心 = 人+1 +人+2 + /〃+3 +…，把 （7. 10) 中的几何级 


数求 和得： 

a _- (7.11) 

9n (r-\~l — rx)q : r 奸 1 

这样，我们就找出了 n 次试验中没有长为 r 的成功连贯的概率满足 （7.11) 式. 
表 13- 2说明，即使对很小的《， (7. 11) 右边的逼近都是非常精确的，而且逼近的精 
度随《的增加而迅速 改善. 这就说明母函数法与分部分式法的威力 ♦ 
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表 13- 2 具有 p = 

■的 n 次试验中没有长为 /* 

= 2 的成功连贯的槪率 

n 

q , 的确切值 

由 （7.11) 所得之值 

误差 

2 

0. 75 

0. 76631 

0.0163 

3 

0. 625 

0, 61996 

0. 0080 

4 

0. 500 

0. 50156 

0* 0016 

5 

0, 40625 

0. 40577 

0. 0005 


数值计算. 为了照顾做实际工作的读者的需要，藉此机会，介绍一点部分分式展开中的 
数值计算，但不会像第一次见到那样详细阐述，然而其误差的精确估计还是可能得到的. 

渐近展式 （7.11) 中有两个问题.第一，那 r 一 1个被忽略了的根的贡献必须 估计； 第 
二，起支配作用的那个根: r 必需计算. 

(7.6) 式中第一个表示式说明， FG ) 的分母的一切根都满足方 程式： 


5=1 + qp 、— 1 ， (7* 12) 

但 （7.12) 有一个附加的不相关的根对于正的 = 是凸函数，它与分 

角线交于 x 和/^、而且在区间: r 和户一 1 之间它的图形在分角线下面_幸好有 /(/> 一 D = 
( r + l ) q . 如果此数大于1，则 / G ) 的图形在5=^由下面穿越分角线，因此为确定 
起见，假定 

( r + l ) Q > l ， （7.13) 

在此场合， x < p —' ， 而且当时， / G )<0. 由此 推出： 对一切满足 x < IH </>"' 
的复数都有 l / G ) K /( UI )< kl ， 所以没有根私落在圆环 xCUlC / T 1 之内*因为 o ： 是 
按绝对值而言的最小的根，所以 

I ^ | > p~ l 当知 / j : 时. （7.14) 

微分 （7. 12) 可见一切根都是单根. 

每一个根对％的贡献都与起支配作用的根工在 (7.11) 中所作的贡献在形式上是一样 
的，因此，在 （7.11) 中被略去的那 r —1 项都有下列 形式： 




pSk — 1 


rs k — ( r + 1) qs ' t 1 * 


(7. 15) 


我们要找出右边第一个因子的上界 _ 为此，首先注意，对固 定的 5 厂 1 ，有 


pse 


iB _ 


1 


ne 沿 _(r+l) 


< 


ps I 
rs + r + 1 ? 


事实上，左边的量分别在 6=0 和取其最大值和最小值，直接把0和 7 T 代进去 

对应极小值而 7 C 对应极 大值. 于是，由（7_13)和 （7.14) 得： 

2p^ 1 / 2 严 


(7. 16) 
算便知0 


K < 


< 


(7.17) 


(7.18) 


( r + 1 + rp~ l )q n?(l + p )_ 

由此推出，在 （7, 11) 中，忽略那异于工的 r — 1 个根所引起的误差的绝对值小于 

2 (? 1 ) /> 
rg ( 1 + pY 

用逐次逼近法， o：o = 1， jivh = /( x p )， 由 (7, 12) 容易算 出根二 此序列会单调收敛到 I ，其 

中每一项都是: r 的下界，而每一个满足 s >/ G ) 的 s 都是 x 的上界 • 易见： 

x = 1 + qp r + ( r 十 l )( 5 ^ r ) 2 + …. （7_ 19) 
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13. 8更一般的样型 


我们前面所使用的方法可以用到更一般的问题中去，这些问题以前曾经考虑过， 
它们比简单连贯更难一些. 

例 （a ) 各种类型的连贯.令 S 为“或者一个长为 r 的成功连贯，或者一个长为 
的失败连贯[参看第1节例 （ f )]”. 研究两个循环事 件&和 此处&代表“长为「 
的成功连 贯”； &代表“长为^的失败连 贯”； 而 s 代表“或者&或者 s 2 ”.对于&， 
其对应的母函数为（7.5)，现在用 GG ) 表示之.&对应的母函数用 l/ 2 (s) 表示之， 
它也可以从 （7.5) 式得到，只不过把 p 和 g 互相交换位置而且以^代 r 而已. S 在第 
«次试验中出现的概率％等于&和&的相应的概率的和，除了 《o = l 这一点以外. 
由此 推岀： 

U ( s ) =1/山）+17 2 (5)-1. 

S 的循环时间的母函数 FG) 还是 FG)==1—ITA)， 或者 

— (1 — ps ) p r s r (l — cf s p ) + (1 — qs ) q f ) s p (l — p r s r ) 

= 1 — 5 + qp r s ^ 1 + pq p s 卢 1 — p r q p s^ p • 

微分之可得平均循环时间 如下： 

— (1 — p r )(1 — (f ) 

^ qp r + pq p — p r q pm 

当户― m 时，此表示式趋于 （7.7) 式给出的成功连贯的平均循环时间. 

(b) 在第 8.1 节中，我们计算过一个长为 r 的成功连贯出现在一个长为 (0 的失败 
连贯之前的概率二如例 U ) 定义两个循环事件&和 S 2 . 令为&第一次出现在 
第 w 次试验而此前未 岀现& 的 概率； /„ 为& 第一次出现在第《次试验（对 S 2 没有任 
何条件）的 概率. 类似 ■^和 /„分别定义 A 和 h， 只不过把前面的4和匕的地位互 


( 8 . 1 ) 

( 8 . 2 ) 

(8,3) 


换 而已. 

人的母函数由 （7.6) 给出，再把/>和 9 互换并以々代 r 即可得到 G( 5 )， 并有下 


列循环 关系: 


00 n = f n — (yifrr-l + 力 /^2 十 … + 3Vl/l ) 


yn= gn~ ( 工 1^1 + ^2 gn~Z H - h ^ , 

它们都是卷积型的，因此，对应的母函数有下列 关系： 

X ( 5 ) = FU)-Y(s)FU) YU) =G(s)-X(s)G(s). 


由此二线性方程式 可得: 


X ( s ) — 


F ( s )( l - G ( s )) 

l - F ( s ) G ( s ) 


Y ( s )= 


G ( s )( l - F ( s )) 

l - F ( s ) G ( s )^ 


(8.4) 


(8.5) 

( 8 . 6 ) 


用部分分式法仍可得 到心和 h 的表示式.对 s=l， 我们有 X(1) = Sx „= j :， 这是 Si 


* 


此节处理特殊主题，可略去. 
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出现在 S 2 之前的概率.当时 （8.6) 中第一式的右方的分子和分母都为0,所以 
计算 X ( l ) 得用洛必达 a ’ Hospital ) 法则，即是微分分子和 分母： X ( l )= G f a )/( F f 
( D + G ' d )) .由 （7.7) 式有矿（1) = (1-，）/(?，和 由此得 

到第8章 （1.3) 中给出的 X ( l ). 

( c ) 考虑形如 SSFFSS 的样型所定义的循环事件.重复第7节的推理， 易见： 

/ >V = U„ + p 2 (f + P % q 2 w^-5 • (8. 7) 

因为已知所以平均循环时间为 p = P 一 、一 2 + 厂 2 +/> _1 . 当 P = g = ■时， 

p =7 Q ， 然而长为6的成功连贯的平均循环时间为 126. 这表明与希望不一样，在扔 
硬币中，成功连贯与其他具有相同长度的其他连贯有着本质的 不同. ► 

13.9 几何等待时间的记忆缺损 

等待时间的几何分布，具有一个其他分布并不具备的一个有趣而重要的 性质. 
考虑一个伯努利试验序列， 设丁是 直到第一次出现成功的试验（包括出现成功那次 
试验在内）的次数，则 P ( T > A ) = g *. 假定前 m 次试验中未出现成功，从这 m 次 
失败以后，出现第一次成功所需的等待时间的分布 还是彳 仏>，它与前面失败的次数 
无关.换句话说，等待时间再延长 々的 概率与等待时间总长度超过&的初始概率是 
一样的 • 如果一个原子或某个零件的寿命服从几何分布，则不会发生老化现象 .一 
个现存的原子，它在下一次试验中衰变的概率总是一样的 • 放射性原子就具有这种 
性质（只是在连续时间的场合，应以指数分布代替几何分 布）. 反之，如果一种现 
象完全无记忆（或者说不会老化），则其持续时间服从几何分布或指数 分布. 一个 
熟知的典型的例子是电话的会话，它经常作为不连贯的完全依赖瞬时冲动的模型. 
会话的结束是一种瞬时的偶然结果，而与此前会话已持续多长无关.与此相反，如 
果已经有5分钟没来公共汽车了，则很快就要来公共汽车的希望大增.在扔硬币的 
游戏中，正面和反面出现的累积次数发生在第二次试验的概率是 V 2 ,然而，在已 
知它们不相等的条件下，再经过两次试验而出现相等的概率是 1 这些都是有仿 

效的例子. 

为了严格地表述上面的论断，假定等待时间了分别以/>。，丸，丸，…取值0，1， 
2 ,….令 T 的分布具有下列 性质： 在第 々次试 验之前等待时间尚未结束的条件下，而 
在第 A 次试验等待时间结束的条件概率为 P 。 （即是在第1次试验结束的概率），则 A 

即 T 服从几何分布. 

为证此论断，我们再一次引进尾概率 

q k = Pk ^\ 4- Pi^2 4- p^z H — — P { T > k ). 

我们的条件是了〉々_1，其概率为办 - i . 因此了==々的条件概率为九/仏-1.由前面的 
假设有 
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Po * 

(9_ 1) 

因为 A 1 

~ qk » 所以 （9. 1) 

化为 





<Ik _ 

Q 

1 一 /V 

(9.2) 

因为 = + 

■ P2 H —二 1 _ A ) ， 

所以％ 

= (1 — />。）出，从而 A = 

— Qk-i — % = ( 1 — 


Po ) k p Q . 论断 证毕. ► 

在随机过程论中，记忆缺损，是与马 尔可夫 性相联系的.在第 15. 3节中还要回 
过来讨论这类问题. 


13. 10更新理论 

作为循环事件的理论基础的卷积方程，具有比前一节中所见到的更为广泛的应 
用.因此，我们还要重新论述它们的很一般分析内容，并且描述其概率更新理论及 
其在各种总体的研究中的应用. 

首先从两个任意的实数序列7； ，/ 2， …和 6。 ，…开始.于是用卷积方 程式： 

v n = b„+ fiv„-x + fzv “ - h f„v Q . (10. 1) 

可定义一个新的序列功, A , …，它们是由 00.1) 式递归地定义的，并且在任何情况 
下，它们都是惟一地定义的.然而，我们只考虑满足下列条件的序列 1 2 : 

OO OO 

2]人< ⑺； b = (10.2) 

1 71=0 

在这种情况下，％是非负的，而且其母函数必需 满足： 

V(5) = , B( 3 、 . (10.3) 

1 — Fis ) 

母函数 F 和 B 至少在 0< s < l 内收敛，从而 (10.3) 在 F ( s )< l 的地方定义了一个 
收敛的幂级数.关系式 （10.1) 和 (10.3) 是完全等价的.在第3节中，我们曾考虑 
vjiB ( s ) = l (对一切的特殊情况.第5节涵盖了限制 /<1 的一般情形. 
为了能应用到总体理论中去，我们将允许/〉1.幸好，这种情形很容易化为标准情 
形 / =1- 

称序列 {/„} 具有周期 A >1， 如果除了；7= 鉍是 A 的倍数以外，其他的/„=0, 并 
称满足上述性质的最大的整数 A 是它的周期.这就是说，= 是？的幂级 
数，但是对一切 r > l ， FU ) 不是 /的幂 级数.再令 


1. 取 Zo =0. (由 10.1) 易见： 对0</ 0 <1的情形只有符号的变化，以力/(1_/0) 代厶， 以& /( l — / 0 ) 
代 

2. /„的非负性是本质的，但二级数的收敛性只是为了方便_如果6 = ^且/=^，一般结论也不会丧 
失.当 / = oo 时， (10.7) 仍然对，只不过 这时， (6) 不一定有限，当6=^且 
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"=2 仏 <oo (10. 4) 

为了方便起见当⑺时，解释为 0. 

定理1 (更新定理）假定 （10.2) 成立而且 {/„} 是非周期的. 

( i ) 如果/<1，则 wO 而且 


S 

71=0 




(10. 5) 


(ii) 如果 / = 1 ，则 


v n 


bpT \ 


( 10 . 6 ) 


( iii ) 如果/>1，则 F (9 = l 存在惟——个正根，而且此根 满足： 

< n ww 

显然 e < l ， 因此导数广⑺是有限的. (10.7) 说明： 序列 { lU 最终会具有公比 


(10,7) 


为 r '> i 的几何序列的性质. 

证 结论 （ i ) 和 （ U ) 在第5节中已经证 明了. 为证 （ iii )， 只需把结果 Cii ) 应 
用到序列{/』卞汍 d 和 ur } 中去即可，这三个序列的母函数分别为(多） 
和 v ⑻. ► 

上面把序列 {/ J 是周期的情形排除了，因为这种情况对我们来说，兴趣 较小， 事实上， 
它们并不提供多少新的东西_确实，如果和{人}具有相同的周期 A ， 那么 BG ) 和 FG ) 都 
是？ 的幂级数，因此，也具有周期 A . 因此，定理1可以应用到序列 </* 丨， {6*} 和{如丨上 

去，它们分别具有母函数 FGi )， B ( d ) 和 V ( d ), 当 F ( l ) = l 时，有叫—议〜因为一般的 

幂级数 B 能够写成下述 A 个幂级数氏的线性 组合： 

B(s) = 5。（5)十 出 1 U ) + …+ s^ l Bx-\ (s) (10. 8) 

其中每个都仅仅包含了 形如# 的幂.将此引人 (10.3) 并应用刚才陈述的结果得到下面的 


定理， 

定理2假定 (10.2) 成立，而且具有周期 A>：L 

( i ) 如果/<1，则 （10,5) 成立； 

( ii ) 如果 f — lj 则对 j = 0， 1 ， …， A — 1， 当 00 时总有： 

AS ) ⑴ / p ; (10.9) 

( iii ) 如果/>1，则对 j = 0， 1 ， …， A — 1，当 oo 时总有： 

^u^+j ABj (^)/ (^«). (10. 10) 

在循环事件中使用过的，证明某些概率满足形如 ao . 1) 的卷积方程式的推理， 
对许多随机过程，也是可能应用的.许多以这种方式出现的重要的极限定理，都可 
以作为定理1的简单推论.这种方法现在已经取代了古老的笨拙的方法而变为广为 
人知的更新理论.只有用于具有连续时间参数的过程，其威力才能充分显现，但最 
初的两个例子仍可作一些直观说明 • 进一步的例子见习题8 — 9，定理1对非概率的 
极限定理的应用含于例 （ C ). 最后两个例子是为实际应用而提供的. 
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例 （ a ) 迟延的循环事件.我们将给出第5节中关于迟延的循环事件 S 的结果一 
个新的推导， S 的循环时间的分布为 {/„} 而其第1次出现的分布为％ 令《„是6在 
第 n 次试验出现的概率.我们证明 (10.1) 成立. S 在第 w 次试验岀现有两种方法. 
此次出现是第1次，那么其概率为乂.否则，在第 n 次试验以前， S 存在一次最后出 
现，所以存在一个数1<)<〜使得 S 在第 J 次试验出现而且下一次出现在第 ”次试 
验.而此事件的概率为巧上述两种情形是互斥的，所以 

■Vn — K + Vi + 込 / 旷 2 + … +T^l/l ， GO. ID 

这与 (10.1) 完全一样.因此，其母函数 V 由 (10.3) 所给出，这与第5节的结果 
也完全一样 • （虽然结果形式上是一样的，但推理不同，在第5节中，是根据 S 的第 
1次出现来列举推导的，而现在的推理则用了最后一次出现.两种推导都用了其他情 

形，而且有时还导出了形式上不同的方程式 •） 

( b ) 击中概率.考虑一个具有完全（非迟延的）常返的循环事件 s 的试验序列. 
令^>0是一个整数.假定我们开始仅仅观察第^次试验以后的过程，而且只对 S 下 
一 次出现的等待时间感兴趣.更形式化地说，对 r = l ，2, …，令 w „( r ) 表示在第”次试 
验以后， S 在第 （ H ~ r ) 次试验第1次出现的 概率. 因此， w 0 ( r )= f r , ivA 0)=0. 
[因其在随机徘徊中的意义而称叫 O ) 为击中概率.在其他的主题中，更自然地是称 
它为始于第^次试验的剩余等待时间的分布.参见第15_2节例 （ k ).] 

为了确定这些概率，应用下面的标准的更新理论的推理. S 可能最初一次出现在 
第 O + r ) 次试验，对应的概率是 /# r ， 否则，存在一个整数使 S 第1次出 
现在第々次试验.第欠试验以后继续进行的过程是整个过程的概率复制，除了原始 
的第 r 次试验现在变为第 ( v — k ) 次试验 以外. 因此，此事件的概率为 / v ^ Dt ( r )， 
从而对每个 r >0， 有 


zv v (r) = / 士 + 2 fk^^-k ( r) . ( 10 . 12 ) 

k = l 

此方程式就是 (10.1) 的标准形式，只不过其中的匕=人〜而已_在此，我们对母函 
数不感兴趣，只希望对非常大的仏描述击中概率的渐近性质 • 这可由定理1来完 


成.令 

pk = + 

回顾第11章 (1.8), 平均循环时间满足 


fJi = pi~\-p2 

如果 S 是非周期的，从定理1得知：当^ 


— oo 时有 


vu v ( r ) 


卜 /"， 
0, 


当"〈 oo , 

当 "= CXD. 


(10.13) 
(10. 14) 

(10,15) 


此结果非常有趣.平均循环时间有限蕴涵了 ^ pr / fJ -) 是一个概率分布，从而有一 
个标准形式的极限 定理. 然而， 当时，等待时间超过任一事先给定的整数 厂 的 
概率趋于 1. 换句话说，等待时间比循环时间本身的性质差许多 • 在第二卷中将要详 
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细讨论此意外的现象所具有的重要推论.（也可参见习题 10.) 

( c ) 重复平均.下面的问题是一个分析性质，并曾在各种主题中用许多精巧的方 
法处 理过. 假定力>0且十… + / r = l . 任意给定/■个数％，…，叫，定义其加权平均 

定义无穷序列叫，巧，… 如下： 从给定的 r 个％ ，…， tv 开始，用前 r 
项的加权平均来定义％，换句话说，对任何定义 

V„ = /itVl H - + f r V^ r . (10. 16) 

因为序 列，， / 2 ，…在第 r 项终止，所以这些方程式都是形如 （10. 1) 的.再定 
义乂使 (10.1) 对一切 n 都对.这就是说，令6。= %=0而且 


bk = V k — fi - /h 奶 k 《 r, do. 17) 

(对于 々> r ， 由定义乂二 0.) 不用任何计算，由定理1 推出： 用这种重复平均法得到 
的％趋于有限的极限.为了计算此极限，我们必须估计七-匕+…+匕.用 （10.13) 
中的记号来表示的残部，由 （10. 17) 和 (10.6) 易见: 



(10. 18) 


例如，如果 r =3, 并且取算术平均，则/ 1 =/ 2 =/ 3 =+，而且 








(t?i + 2 v 2 4- 3 以 3 ). 


(10. 19) 


我们如此容易地推出这个结果，并不能掩盖下列 事实： 离开现在这一主题问题 
将是很难的.（另外的处理见第 15. 4节习题 15.) 

( d ) 自我更新集合.我们回到第2节中的例子，那儿，一个在时刻 n 安装的零件的 
寿命具有概率分布 {/„}. 当它坏损时，立刻用一个同一类型的新的零件替换，因此， 
连续的替换构成了一个相依的试验序列中的常返的循环事件.（其结果决定于是否 
替换 .） 

假定有一个在0已有 々岁的 零件被安装上（这比新的更有意义).这只影响第一 
个等待时间，所以 S 变为迟延的循环事件.为了得到第一个等待时间的分布彳匕}，首 
先 注意： 6„是“已知某零件已活 &岁， 它将在 / rf 々岁坏损”的（条件）期望.因此， 
当々>1时， 

= /w/n ，此处 q = /h 十/ '奸 2 + …. (10. 20) 

在实际中，不是安装某设备的一个零件，而是一个整个的总体（譬如说，某城 
市的街灯），它由 N 个零件构成，其中有戌个的年龄是々岁 ，(此处 Sj 3 t = N ). 每一 
个零件生成一条在 时刻” 要求替换的后代线.在时刻《要求替换的总数的期望值显然 
满足 (10. 1) 其中 

b n = Y^kf n —k/r k . ( 10 . 21 ) 

此处是第一个例子， 其中％ 是一个比概率还合适的期望，我们仅仅知道％<". 

简单计算可证 6= I >„ = N ， 因此当替换是非周期的时候，由定理1可证 ％-^ V / 户 
此结果蕴 涵了： 年龄分布的稳定的极限的存在性.事实上，对一个在时刻 n 恰为是岁 
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的零件，其充分必要条件是它在时刻 〃一6安装上而且它能继续存在々岁.因此，这 
种零件的期望数为 v n - k r k ,而且当 rz — m 时它趋于 Nn/fjt. 

换句话说，当时间继续下去的时候，总体中年龄为6岁的比例趋于 Q / 户因此， 
极限的年龄分布与初始的年龄分布独 立而只依赖于死亡率在很广泛的条件下， 
类似的结果也成立.关于数值说明，参见表 13-3. 它显示出一个值得注意的 事实: 
它并不单调地逼近极限.（见习题 16 — 1&) 


表 13-3 第10节例 （ d ) 中所描述的总体中的年龄分布的分解的说明 



每一列给出了总体有 N =1000 个元素在每个时刻/7=0, 1,…，7的年龄的分布，同时有其极限分布， 
假定死亡率为: 1 

20，/ 2 =0. 43,/ 3 ^0. 17，/ 4 =0. 17，/ 5 = 0. 03， 

因此，没有一个零件有效地达到 5 岁. 


( e ) 人群总体.我们用最简单的人群总体模型来作为一个例子，此时 /= S /„>1 •此 
模型上面的例子中的模型除下面几点不同外是类 似的： 总体大小是变化的；“女性出生” 
代替“替换零 件”. 新的特 色是： 一位母亲可能有任意多个女儿，因此，她的后代可能灭 
绝也可能在数量上 增加. 定义/„是一位母亲在”岁还存活并且生出一个女孩的概率（忽 
略它对前一代小孩的个数及年龄的依赖 性). 则 / = 2/ n 是女儿个数的期望值，从而在一 
个健康的人群 中有： / >1. 因此，定理1 断言： 总体的大小粗略地说按常数$的比例增 
加，而且总体的年龄分布按前一个例子所描述的那样趋于一个极限.此模型是粗糙了一 
些，然而仍然提供一些实际用途.没有完善的数学分析，$的极限性质的严格依赖性是不 
能预测的. ► 
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在第 3 节中，我们略去了定理 3 的证明.现在复述如下： 令 / i ，/ 2 , …是一 个非负 
实数序列， 满足： 而且1是满足/„>1的一切《的最大公因子_令《0 = 1，和 

+/ 2、2 + …+/ 而， n^l. ( 11 . 1 ) 

则 

1* 方程式 = 0 的根为1， — 1"， — 5 ， 和士 平均循环时间是 2.40. 
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户― 1 ，此处"= Y>fn (11.2) 

n = 1 

(当户= 00时，"― 1 理解为 0). 

我们先给出两个在概率论以外广泛应用的引理.它们并不完全为了证明基本定 

理. 

令 A 为满足/„>0的全体整数《所构成的集合，并令是全部下述正的线性组 
合所构成的 集合： 

p\d\ + ••♦ + pAr (11. 3) 

其中 A ，•••，〜 属于 A ， Pj 都是正整数. 

引理 1 存在一个整数 JV ， 使 A + 包含一切满足条件 n > iV 的整数 n . 

证从欧几里得几何 知道： 1是集合 A 中的数的最大公因子意味着，可知选取 A 

中的整数 A ，… ，〜和 （不一定正）整数0使 

c] a + …+ c>2 r = 1‘ (11. 4) 

令^==4十…+〜.每一个整数《，具有惟一的表示式+>其中 : r 和: y 都 

是整数而且因此 

r 

n = ^ (x + c k y)a k (11* 5) 

而且当工大于义乘 |Q I a = l , …， r ) 中的最大者时，上式右边所有的系数都是正的. ► 
引理2 (选择原理）假定对每个。>0,给定一个数序 列#， 々，…满足0<#<1. 

则存在一个序列^ (1) ，1/ 2) ，…一 ⑺ w 跑遍此序列， 使得： 对每个固定的々，存在极限_ 
证 1 选择一个增序列 I //， i 4 D ，…，使得^跑遍它时，收敛到一个极限 a . 在 
此序列中选出一个子序列4 2) ，，…，使得^跑遍它时， —^2 »如此继续下去， 
对 每个〜 我们得到一个整数序列 4 n ) — ⑺，使得 W 跑遍此序列时 A 而且的 
每个元素都属于前一个序列{< _1) 最后，令 1^=#. ♦ r>n. 除了前面 n 项以 
外，每一个元素 I /。 都出现在 I // ，政°，…中，从而当1»跑遍序列 V ”， v i 2 \ …时， 

引理3令{1€\ 1 }(/7 = 0，土1，士2,…）是 一 个双无穷的数序列，且满足 0^ zv n ^：l j 
和 

00 

叫 = XliVav*， 一切” （11.6) 

丨=1 

如果 Wo = l ， 则对一切 w 都有 w „ = l . 

证 因为 

Wo = s fk^ -k < 公 /t = 1 ， （ 11_ 7) 

fe — 1 1 

1. 证明是基于康托 (& Cantor, 1845 — 1918) 的对角线方法，它已变成一种标准工具，但在康托时代， 
却是非常新颖的方法- 
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条件叫=1要上述两个级数逐项相等，从而对每个^要么 A =0, 要么 u ^ = l . 这意 
味着对每个 aGA ， 有 w_ a = l . 但是，对《=0的论证对 w a 也可应用，因此当整 

数 a 和6都属于 A 时， w 一二 1. 用归纳法可证，对每个整数 meA +， 只要 m > iV ， 
就有 1^1 = 1. 但是，这蕴涵了当 w 二一 JV 时， （11.6) 右边等于1，所以令 
n =- N + l , 用类似的方法得知 w _ N +1 = l ， 如此继续下去，用归纳法 可证： 对 一切” 
都有叫,=1. ► 

定理的证明.令 


77 = lim sup u n . 

f n-^oo 

由 （ ll . l ) 易见从而存在一个趋于的序列 n ，…使得， 


u r v — V . 

对每个正整数 W 定义一个双无穷序列 如下: 



当 ” — r ” 

当行〈 —〜• 


( 11 . 8 ) 

当 t ； 时有 
(11-9) 


( 11 . 10 ) 


为了表述简单起见，引理2对简单序列来陈述，但显然它也可以用于双无穷序列 • 
因此，可以选取一个上升的整数序列切，奶，…使得当 W 跑遍它时， wf 趋于极限 
(对每个 77). 由它们的构造，有而且叫 =7. 此外，对每个^和《> —幻， 
定义 （11.1) 化为 


c = S ^ ai . ii ) 

^=1 

取极限，得 (11. 6), 因此，由引理 3取= 7 对一切”成立 • 

现在，进行最后一段推理.如前一样，令 

^=/ m +/ 奸2 +… （11.12) 

于是 rQ = i ， 而且 P [见第11章 （1.8)]. 把定义的关系式 (11-1) 对《=1， 


2,…， N ， 求和并归项可得 等式: 


我们对 iV =%， 


v 2 » 


f)oU N ^ . +|O N W 0 = 1. 

…依次利用上述关系式.当 N 跑遍这一序列时， U N — k 


(11. 13) 



对每个々都成立.当时， 7}=/!—、 剩下需要证明的是，此蕴涵了 “N — V 对 
N 以任何方向 趋于… 都成.由上极限的定义有 u N - k < V 对每个固定的々和充分大 
的 N 都成立 • 此外，对一切”，⑷ <1. 因此，假定 N 以某种方式 趋于〜 使 “ n — 妒 


由 （11.13) 显然有 

户。7。+ + … + P)(7 + e ) + (户 rH + + …）> 1， （11. 14) 

从而 

poirfo — ^)+/^(^ + €) ^ 1- (11， 15) 

但是，由 7 ?的定义知" 7 ? = 1 而且.由于 （ n . 15) 对任意 e > 0 都成立，因此 
所以不管 iV 以任何方式趋于⑴， 总、有 U N 1_ 1 
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13. 12 习 题 

1. 设 F (: T ) 是一个多项式.用第 11. 4节的部分分式法证明第3节的所有定理. 

2. 重复扔 r 个硬币，设 S 表示下述循环 事件： r 个硬币中的每一个出现正面的累积数与出现 
反面的累积数相等， S 是常返的或暂留的？估计 S 迟早要岀现的概率. 

3. 在一个独立抛掷一颗均匀的骰子的试验序列中，令 S 代表么点、两点，……，六点出现的 
累积次数相等这一事件.证明 S 是一个暂留的（周期的）循环事件，并估计 S 迟早要出现 
的概率. 

4. 在一个伯努利试验序列中，当成功的累积次数是失败的累积次数的 A 倍时 S 出现，此处 A 
是一个正整数.[见第1节例 （ c )] 证明 S 是常返的当且仅当 p / g = A ， 即是 f = A /( A + l ). 
提示：利用正态逼近. 

5. 在一个伯努利试验序列中，我们说 S 出现，如果累积成功次数是累积失败次数的两倍但又 
从未超过两倍.证明 S 是暂留的周期的_其母函数由三次方程式([/⑴扣) 2 所决 
定.（提 示： L / b ) 芦是成功次数超过失败次数两倍的等待时间的母函数_ ) 

6. 令{足}是相互独立的具有公共分布的数值随机变量序列.假定它们只取+ 1或一 1. 证明： 
事件 “ S ,— 0，$<0,…， S 厂〗<0” 是循环的、暂留的_ 

7. 盖革 计数器 _ [见第 1 节例 （ g) 和 （ 4.e)_] 令]^和乙分别为到时刻 rz (含时刻 72) 为止 
£出现的次数和被记录的次数.讨论这两个随机变量的关系并求出£(厶）和 Var ( Z n ) 的渐 
近表达式. 

8. 在 n 型盖革计数器中， 每一个到来的质点（不管它被记录与否）都锁住计数器恰巧 「 个时 
间单位（即是，在到来以后还要锁 「一1 次试验).因此，记录一次以后的锁住时间长度是 
一个随机变量 • 求出其母函数 G . 如果 S 还代表计数器处开启状态这一循环事件，用 G 表 
示 S 的循环时间的母函数 F , 最后，找出平均循环 时间. 

9. 一类更一般的盖革计数器 • 如在习题8中 假设： 如果每一个到来的质点完全消除前一个 
质点的影响，但是一个质点锁住计数器的时间长度是一个具有母函数 B ( s ) 的随机变量 
[在前一个问题中，在此一般条件下，再做习题8中事情、 

10. 对一个迟延的循环事件 S 而言，只有当 S 的第1次出现的母函数为二 [1 — F( 5 )]/y 
(1 — S ) 时，即是乂=/, +1 +/„ +2 +…时，概率％才是常数.讨论与第10节例 （ b ) 中的 

击中概率的极限定理的关系. 

11. 找出扔 10 000 次硬币中长为 3 的成功连贯次数落在 TOO 到 7 30 之间的概率的近似值 • 

12. 在扔硬币的试验序列中，令 S 代表样型 HTR 令〜为 S 在前 ”次试 验中不出现的 概率， 
找出其母函数，并用部分分式法求出其渐近展式. 

13. 在第8节例 （ a ) 中，游戏的时间长度的期望值为 

jJL\ in! ("1 + "2 ) ， 

此处川 和化 分别为长为〃的成功连贯的平均循环时间和长为^的失败连贯的平均循环 
时间. 

14. 假定每次试验的可能结果为 A ， B 和 C ， 对应的概率为心/?和 y ( a +/?+ y = l ). 找出下列事 
件的概率的母 函数： 
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(a) n 次试验没有长为 r 的 A 连贯； 

(b) 〃次试验没有长为 r 的 A 连贯或 B 连贯; 


(c) 〃次试 验没有长为 r 的任何连贯. 

15. (续上题).找出第1个长为 r 的连 贯在第 1个长为 p 的及连贯，且终止于第次试验 
的概率.（提 示： 其母函数形如 （8.6) 中的 iG)， 除了用 a 代 F 中的 p,/? 代 G 中 
的户 . v 

16. 自我更新集合. 在第10节例 （d) 中，假定寿命分布为几何分布 A 找出年龄的 
极限分布. 

17. (续上题X称初始的年龄分布{沐}是平稳的，如果在所有时间它都不变.证明（不必计 

算）只有当译 = 时， {/i} 才是平稳的. 

18. (续上题).令叫（?7)表在时期72恰为々岁的元素的个数的期望值，找出确定方程式，并用 
它们验证总体大小保持为常数0,此外，证明期望数抑 （《) 满足： 

zvo in) = zvo(n — l)fi/r 0 + xviin — Dfz/n H - . 


19. 令 S 为常返的周期的循环 事件.假定： 循环时间具有有限的均值 M 和方差义记％ = /„ +1 + 
必 +2 +…，〜 =% +1 +% +2 + ….证明母函数 QG) 和 i?(s) 在 S=1 收敛. 再证： 


和 



( 12 , 1 ) 


Uo 


CO 

+ 2 (⑷ 




77~ 1 


P - 


) 


(/ —fjt + U 

V 


20. 令 S 为常返的循环事件， N r 是£在 r 次试验中出现的次数 • 证明: 

广 1 

E(N 2 r ) — mi + …+ w r + 2 U Uj (u\ + …+ w , 

j= l 

从而 E(N z r ) 是下述函数的 / 前面的 系数： 

F(5)+F ⑴ 




(注 意： 这个可以用二元母函数表述得更漂亮 •） 

21. 令 i = 证明队,是下列函数的？的系数 


F ^ is ) 


{l-F(s)} 

1——5 


并 推出： E(Nd 和 E(M) 分别为 


F(s) 


(l-s){l-F(s)} 


和 （12.4) 的/的系数. 

22. 利用习题19的记号， 证明： 

F(s) 


R(s) 


(1 — 5 ) {1 — F(s )} 1 — s /i(l — s) 2 /u{l — F(s)} m 


( 12 . 2 ) 

(12, 3) 

(12.4) 

(12.5) 

( 12 . 6 ) 

(12*7) 


L 原著中把误印为 X(5), G 误印为 S. 


译者注 
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因此，利用上一习题 可证： 

E ( N r ) =丄+ ^+/ 2 — 〆 +◊， (12,8) 

^ V 

此处 

23. (续上题)， 利用类似的推理 证明： 

E ( Nl ) = 4 + 2 。 2 +「心 + 〜， (12.9) 

M 〆 

此处 c ^/ mO ， 因此 

VarCNJ - 4厂_ (12, 10) 

〆 

[提示：把 （12. 4) 与 (12. 7) 之差分解成三个分式，它们的分母包含因子 (l — s / ，（ = 1，2, 
3.] 

24. 在一个伯努利试验序列中，令是恰有长为 r 的《个成功连贯出现在第 々次试 验的概 
率.用习题21，证明母函数 G ( x ) 二是下列函数的^的 系数： 

_1 - p r s r _ 

1 — s + qp r ^ 1 一 （ 1 — 外 ）//’x _ 

此外接着证明：分母的按绝对值最小的根 s^l + qp ^ l - x ). 

25. (续上 题).长连贯的泊松分布 1 .当试验次数々与连贯长度 r 都趋于 co 且使化，— A ， 则 
恰有 n 个长为 r 的连贯的概率趋丁 e ^ AV «!. 

提示： 利用前一个习题.证明其母函数渐近地为 + 利用第 

11, 6节的连续性定理. 


1. 此定理由冯 • 米泽斯所证明 • 但现在的方法比他的方法 简单. 


第 14 章随机徘徊与破产问题 


14.1 一般讨论 

此章第一部分讨论伯努利试验.为叙述生动，再次使用赌博和随机徘徊中的形 
象语言. 

考虑一个赌徒，他在每次试验中，分别以概率/>和 g 赢一元或输一元.设他的 
初始赌本为^对手的初始赌本为 a — z ， 故双方赌本共为 a . 赌博一直进行到某个赌 
徒的赌本减少到0或增加到 a 为止，也就是说，进行到两个赌徒中有一个破产（输 
光）为止.我们关心的问题是赌徒破产的概率及赌博持续的时间的概率分布.这就 
是古典破产（输光）问题. 

物理中的各种应用与模拟促使我们采取“ 质点” 在工 轴上 的运动这种更易掌握 
的解释.质 点从原始位置 z 开始，根据试验的结果是成功或失败，它沿 *r 轴 的正方 
向或负方向移动 一个单 位步.质点在《步以后的位置 代表〃 次试验后该赌徒的赌本. 
当质点第一次到达0或 a 时试验结束.我们称 质点的这种运动为在 0 和 a 处置有吸收 
壁的随机徘徊. 这种随机徘徊被 限制在 1，2 ,…， a — 1这些可能位置.如果没有吸收 
壁，则称随机徘徊是无 限制的 （自由的).物理学家用随机徘徊作为一维扩散或布朗 
运动的粗糙近似，其中物理质点由于受到大量分子的碰撞而产生随机运动，的 

情况对应于向右漂移，这时质点受到来自左方的冲击 的可能 较大；如果户= <?= +， 

则称随机徘徊是对称的. 

在 a — ⑺的极限情形，我们得到在半无穷直线上的随机徘徊.质点从 z >0 出发 
作随机徘徊，直到它第一次到达原点时为止.在这种陈述中，我们遇到了初 过时间 
问题，在第3章中我们曾给出它的初等解法（至少是对称情形），在第 11. 3节中又利 
用母函数的工具给出了它的另一种 解法. 我们将要看到，本章中有些公式以前曾得 
到过，不过，现在的方法是自封的. 

本章中，我们将使用 差分方程式的 方法.此种方法可作为扩散理论的微分方程 
式的导引.这种模拟自然地导致古典破产问题的各种修改和推广. 一 个典型的和富 
有教益的例子是 用反射壁和弹性壁来 代替吸收壁.为了描述反射壁，把如前定义的 
随机徘徊作下面的 修改： 当质点位于点1时，它以概率 々运动 到位置 h 而以概率9 
留在点 1. 用赌博的语言来说，这对应于下面的 规定： 当赌徒输掉他最后一元赌本 
时，他的对手慷慨地把这一元还给他，因而赌博可以继续进行下去.物理学家想像 
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在1轴的+处置有如下性质的一面墙，由1向0运动的质点被墙反射，故质点回到1 
而不能到达 0. 吸收壁和反射壁都是弹性壁的特例.我们用下面的规则来定义 在原点 


处的弹 性壁： 质点从位置1以概率 p 运动到 .2; 而以概率停留在1处；以概率 
(1_幻9 运动到 0 而被吸收 （即过程结束).当5=0时，得到古典破产问题或吸收 
壁；当时，则得到反射壁.当&由0变到1时，我们得到一系列的中间情形.占 
越大，过程持续下去的可能性越大.如果有两个反射壁，则过程永远不会结束. 

在第2、3两节中，我们将给岀古典破产问题及其推论的初等讨论.其后的三节 
比较专业（因而可以略去).在第4、第5两节中，我们导出相关的母函数并由此推 
出赌博持续时间的分布的明显表达式，等等.第6节讨论随机徘徊取极限转化为扩 
散过程的概要（扩散方程式的形式解是随机徘徊的极限分布). 

在第7节中，又回到初等讨论，其内容是二 维或多维随机徘徊， 在这一节中， 
会遇到一些新的东西.第8节讨论一种完全不同的推广.即是一种每次移动不限于 
一个单位的一维随机徘徊，它可以跳跃地改变其位置，每次可以移动单位长度的任 
意倍.这种广义的随机徘徊与瓦尔德的 序贯抽 样之间的关系已受到普遍的 注意. 

最后一节（习题）中包含了正文中必不可少的补充以及其他方法的 概要. 我们 

希望： 比较不同的方法，会获取极大的教益. 

最后还必须强调 指出： 每个随机徘徊都是一个特殊的马尔可夫链.所以本章可以 
作为下一章的一个导论.有几个随机徘徊的问题（如弹性壁）将在下一章重新讨论. 

14.2 古典破产问题 

在这一节中，将讨论本章开头所陈述的问题.设 t 为赌徒最终 1 破产的概率，久 
为他获胜的概率.用随机徘徊的语言来说，&与 a 分别为从 z 出发的质点将在0处 
与 a 处被吸收的概率.我们将 证明： 久 -+& = i ， 所以我们不必考虑赌博永不终止的 

可能性. 

在第一次试验后，该赌徒的资本为 2—1 或^+1，故当10<«—1时 必有： 

q z = pq z+l + qq z - x (2.1) 

如果 z = l ， 则第一次试验后就有可能破产，故此时须用9! =092+9来代替 （2.1). 
如果则第一次试验后就有可能获胜， 故 屯 - dz . 为把这些方程式统一 

起来，我们定义： 

<?0 = 1 ， <? a =0. (2. 2) 

在此约定下，对一切 z = l ，2, …， a — 1，破产概率都满足 (2.1). 


1. 严格地说，破产的概率是在无限延长的赌博的样本空间中定义的，但我们能在 ”次试 验的样本空间 
中来 讨论. 在77次试验之前破产的概率随着 n 增加，因而其极限 存在. 我们称此极限为“破产概 
、率 ”. 本章中，所有概率都可以用这种方法来解释.而不必参考无穷样本空间（参看第 8.1 节). 
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形如 （2.1) 的方程组是 差分方程式， （2.2) 是关于& 的边界条件. 将用 特解法 
推出&的明显表达式，这种方法也可用于更一般的情况. 

首先假定易证差分方程组 （2.1) 有两个 特解 ： a = 1 和& = (^>尸•因此 
对任意两个常数 A 及 B , 序列 


q =A+B(fr. ( 2 . 3 ) 

是 （2.1) 的形式解.边界条件 （2.2) 成立的充分必要条件是， A 和 B 满足下列两 


个线性方 程式： A + B = l 和 A + jB ( g / f ) a =0_ 因此 


{g/pr-iq/pr 

(q/pr-l 


(2,4) 


是满足边界条件 （2.2) 的差分方程组 （2.1) 的形 式解. 为了证明 （2.4) 确实是破 
产概率的解，只需证明解的惟一性，即是， （2,1) 的一切解都具有 （2.3) 的形式 • 
易见，给定 （2.1) 的任一解，可取常数 A 和 B ， 使得当和 z = l 时， （2.3) 与 
此解一样.由此二值出发，依次以 z = l ，2,3, …代入 （2.1) 可求岀一切其他的值. 
因此，两个解只要在 Z =0和 z =1 —样，则此两个解恒等，从而每个解都具有 
(2_3)的形式. 


当■时，上述推理是不行的，因为此时两个形式特解仏和1=(9/户) ; 

是恒等的，从而 （2.4) 没有意义.然而，当/时，我们另一形式解& = 4从 

而&=焱+丑^是 （2.1) 的依赖两个常数 A 与 B 的解.为了满足边界条件（2.2)，.取 
A =1和 A+Ba =0. 因此： 


1 % 

(形式上，在 （2.4) 中令■并应用洛必达法则，仍可得同一数 .） 


(2.5) 


因此我们证 明了： 当 P 关 g 时，赌徒的破产概率由 （2.4) 给出，而当/> 



时，由 （2.5) 给出. 赌徒获胜的概率等于其对手破产的概率，故此概率可在前面算 

出的概率中分别以代 g ， p ， a 而得到.如前所述，易见 = 

现在我们把前面的赌博规则改变如下： 设赌徒甲有初始赌本〜其对手拥有无穷 
赌本 • 赌徒甲有权在任意时刻停止赌博，而对手则愿意奉陪 • 赌徒甲采取如下策略， 
当他输光全部赌本（破产）或者赌本增值到 a (净赢 a — z ) 时停止 赌博. 则&是他 
输光的概率，而1 一 &是他获胜的概率. 

在这种赌博规则下，赌徒甲最终贏利或输光可用一个随机变量6来描述’ 6分 

别以概率:和取值 — 和 一2：. 赌徒甲贏利的期望值为： 

E(G)=ail — q z ) — z. (2.6) 

显然，当户 =g 时， £ XG )=0 •这 意味着 ，在“公 平，， 博弈中，赌徒甲采取上述策略， 
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并未改变博弈的“公平”性，而且也不能把“不公平”博弈改变成“公平”博弈 • 

由 （2.5) 可知： 在的情形，一个拥有初始赌本为999元的赌徒，他在输 
光赌本以前而贏得1元的概率为 0.999. 如果 <?=()• 6，/> =0.4,则博弈确实是不公平 

的.但由 （2.4) 可知： 赌徒输光以前赢得1元的概率仍然约有 一 般地，若赌徒 

的初始赌本很多，则在他输光前赢得少量金钱的可能性很大 . 1 
[此结果的一个意外的推论，见习题 4.] 

下面研 究改变赌注的 影响.单每一注由1元改为半元与将初始赌本由 z 元改为 
2=元等价.对应的破产概率 < 可由在 （2.4) 中用代替; 2 a 代替 a 而 得到： 

* ^ Mlp、 U — Ujl py z . {q/pr^riq/py, (2 7) 

Qz (q/p) 2a -l Qz ip/qY + l * 





表 14-1 

破产问题的举例说明 


P 

q 

z 

a 

概率 

期望值 

破产 

获胜 

贏利 

持续时间 


0. 5 

9 


0_ 1 

0. 9 

0 

9 



90 

100 

0. 1 

0_ 9 

0 

900 



900 

1000 

0. 1 

0. 9 

0 

90⑻0 

0. 5 


950 

1000 

0,05 

0. 95 

0 

47 500 



8 000 

10 000 

0* 2 

0.8 

0 

16 000 000 

0, 45 

0. 55 

9 

10 

0. 210 

0- 790 

—1. 1 

11 

0.45 

0. 55 

90 

100 

0. 866 

0. 134 

— 76* 6 

765. 6 

0, 45 

0. 55 

99 

100 

0, 182 


-17,2 

17 L 8 

0.4 

0. 6 

90 

100 

0. 983 

■B 

— 88.3 

441, 3 

0.4 

0. 6 

99 

100 

0.333 

0.667 

— 32* 3 

161. 7 


初始赌本为 Z ， 当赌本输光（输 z 元即破产）或增至 a (贏 a — Z 元即获胜）时赌博结束. 


当时， （2.7) 右边的分式大于1，故此结论可改述如下： 如果赌 

注加倍而初始赌本不变，则破产概率对于成功概率户<+的赌徒来说是减小的，而 

对其对手（赌博对他有利）来说则是增加的. 例如，设赌徒甲初始赌本为90元，而 
其对手只有10元，且 /?=(). 45，而赌博对甲 不利. 如果每次赌注为1元，表 14-1 说 
明，甲输光的概率约有0.866,而把每次赌注改为10元时，则甲输光的概率下降到 
原先的概率的1/4以下，而此概率约为 0.210. 由此可见，增加赌注的影响，比我们 
预料的要显著得多. 一 般地，如果每次赌注为 々元， 则在 （2.4) 中以 zA 代 z ， 以 
a A 代 a 即得输光概率，此概率随々值增加而 减小. 所以，在每次赌注都不变的赌博 


L 某人每年都去蒙特卡罗赌钱，而且总能赢回他的旅费.因此他坚信有某种超机遇的魔力，其实他的 
经历并不奇怪 • 假定他带的赌本是他的贏利的10倍，每年赌赢的概率是匕 9 .连贏10年的概率大 

约为 a — l ^) 1 Q ke -1 〜 O . 37. 因此连贏的可能性也不是小到不可能的 地步. 
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中，赌徒可以适当选择与其事先确定的赢利金额相一致的赌注，以使其输光概率降 

到最小，这个结论的实际有效性，通常会受到那些认为“不公平”的博弈本来就不 

合理的人的质疑.如果认真探讨，那么，保险事业就不会存在，因为参加保险的而 

又驾车谨慎的司机显然与保险公司进行的博弈是“不公平”的.实际上，没有一条 

概率论的定理能把这样一位司机从保险人群中拉出来. 

极限情形 a =〜对应着这样一类 赌博： 其对手是一个拥有无穷资产的富翁.在 

(2. 4) 和 （2.5) 中令 a — co 得： 

_ / 1 当 (? OX 

q ^ = \( q/py 当 （) 

我们把 t 解释为： 一 个拥有 Z 元初始赌本的赌徒跟一个拥有无穷资产的富翁进行赌 

博， 他输光的概率 1 . 用随机徘徊的术语来说， I 是一个从^>0出发的质点迟早要 

到达原点 o 的概率.很自然地，要把此结果改述 如下： 一个从原点出发的随机徘 

徊，当 P ^ q 时它迟早要到达2 >0的概率为1,而当/时，此相应的概率为 


14.3 博弈持续时间的期望值- 

博弈持续时间的概率分布将在下一节推导，然而，其期望值却可以在这一节用 
一 种简单的广为应用的方法推出来，在此不惜笔墨地说明 此法. 

仍然考虑本章开头所讨论的问题.假定博弈持续时间的期望有限为已知事实. 

此事实将在下一节中严格证明. 

如果第一次试验的结果为成功，则博弈就像初始位置在 z + i 那样继续下去；故 

在第一次试验的结果为成功的条件下，持续时间的条件期望为 A — i + i . 这表 明：持 

续时间的期望值满足下列差分方程组 • 

D : = pA + i +<? Ul ，0< z < a . (3.1) 

其边界条件为 

Dq 二 0 ， D a ^ 0 . ( 3 . 2 ) 

由于 （3.1) 中有常数项1，故差分方程组 （3.1) 是非齐 次的. 如果户关心 则认 
/(<? 一 户)是 （3.1) 的形式解. （3.1) 的任何两个解之差么满足齐次方程式丄= 
pA z ^+ qA ^, 而我们又知此方程的所有解都有下述 形式： A - hB ( q / p )\ 因此，当 
时， （3. 1) 的 一 切解都具有下述形式： 

= (子 )：. (3.3) 

q — p P 


1. 易见： 办是满足边界条件（现在只有一个） 你=1 的差分方程组 （2.1) 的一个解.当户 >9时， 
解不惟一.实际上，我们的结果包含在第11章 （3.9) 中，而且我们将在第4节中独立地推出来 
(用一种更强的形式）. 
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边界条件 （3.2) 要求 

AH-J3=0 ， A4~B(q / p)° — — a / {q _ p). 

解出 A 和 B ， 得到 

D - . ■匕 (3 4) 

~ q~P q~P l~(Q/pr' U . 4 ) 

当上述方法也不适用.在此场合，我们用 （3.1) 的一个解来替代 

z /{ q - p ). 由此可知，当/>=9 = 士时， （3.1) 的一切解都具有下述形式 A = 1 2 + 

A + Bz . 满足边界条件 （3.2) 的 解为： 

D z = z{a — z ). (3. 5) 

在古典破产问题中，博弈持续时间的期望值，按/或■分别由 
(3.4) 或 （3.5) 给出. 

应当指出，持续时间比我们想像的要长得多.设两个各有500元赌本的赌徒， 
以扔钱作赌博，直到有一个输光为止，其持续时间的期望值是250 000次 试验. 如果 
一个赌徒只有1元赌本而对手有1 000元，则持续时间的期望值是1 000次 试验. 更多 
的例子可参见表 14-1. 

如前一节所指出的，我们可以过渡到的极限情形，即考虑一个赌徒与具有 
无穷赌本的富翁进行赌博.当/>><?时，赌博可以一直进行下去，此时谈论持续时间 
的期望值是没有意 义的. 当/><9时，我们得到持续时间的期望值是 — W 1 ， 但 
是当/>=9时，持续时间的期望值 是〜. （同样的结果在第 11. 3节中已经建立，并将 
独立地在下一'节中证明 .） 

* 14. 4博弈持续时间和初达时的母函数 

我们将用母函数方法来研究古典的破产问题中的博弈持续时间，也即在0和 a 具 
有吸收壁的随机徘徊中的相应的问题.初始位置在 z ( 满足 0< z < a ). 令心„表示过 
程于第 〃步被 吸收壁0吸收而结束（即破产）的概率.第一步后质点所处之位置为 
z + 1 或 z —1，故当及时有： 

M s ， ” 一 1 — l ， n. (4.1) 

这与差分方程组 （2.1) 类似，但现在 （4.1) 依赖两个变数2：和和第2节类似， 
我们要定义边界值和心，。使得对之^ 1 ， 2 ^“— 1 和” = 0，（ 4 . 1) 仍然成立.为 

此，令 

u 0 , n = u a , n = 0, 当 (4.2) 

^此节及其相关的第5节，初读者可略去. 



以 OJ 




当 0 〈z 


(4.3) 


则 （4.1) 对一切满足 0< z < a 的 z 和一切〃 >0 都成立. 


现在引进母函数 


UAs ) - 2 




(4.4) 


把 （4.1) 两边乘以， h 并对 

U z ( s )-- 

由边界条件 （4.2) 和 （4_3) 


t =0， l ，2, …求 和得： 

z psU z ^i ( s )-\~ qsU ^ i ( s ) ， 0 〈 2 〈 a ， 

推出： 


a 5) 


U Q ( s ) = l , U a ( s )=0. (4-6) 

差分方程组 （4.5) 与 （2.1) 类似，而边界条件 （4.6) 对应着 （2.2). 现在的 
情况是，方程组中的系数与未知函数中都依赖于^但就差分方程组而言，^仅 
仅是一个任意的常数.如果我们能求出 （4.5) 的两个特解，则第2节中的方法仍然 
可以应用.自然地，我们会猜想是否有形如 K ⑴ = A Z ⑴的两个解？以此代人（ 4 .5) 
可知： Ks ) 必须满足二次方程式 

A (5) = psX 2 ( s )-\- qs f (4, 7) 

其根为： 


Ai (^) 


1 十 y/1-4 
2 ps 


X 2 ( s ) 


- yO 31 ! 
2 ps 


(4.8) 


(我们取0<5<1，并取正的平方根). 

我们已经求出 （4.5) 的两个特解.仿第2节，可以断言， U .5) 的每个解都具 
有如下 形式： 


U z is ) = Ais ) X ]( s) J r B { s ) Xlis ) 

其中 A (5) 和 B ⑴可为任何函数.为使 （4.9) 满足边界条件 

B (5) = l 和 A ⑴ A ? ⑴ + B (5 )Ag ⑴=0,故 


(4.9) 

(4.6), 必需有 A ( 5 ) + 


UAs ) 


Al(5)A2(5)-Ai(5)A|(5) 


A … 仙) 一心 ) 

利用明显的关 系 上式可简化为 


(4. 10) 




(4,11) 


⑽ =(f 〉 * AJ SS^ (4 _ u) 

这就是 所要求的在第几次试验破产（或在0处被吸收）的概率的母函数. 用类似的 
方法，可以证明在《处被吸收的概率的母函 数为： 

⑴ ( s ) (4 i2) 

收)一 A … )• ’ 

当然，博弈持续时间的母函数是母函数 （4.11) 和 (4. 12) 之和 • 

无穷区间与初达 

前面的讨论可以平行地用到在0点具有吸收壁的在区间（0，％)内的随机徘徊中 


(4. 12) 


)内的随机徘徊中 
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去.一个质点从=>0出发，最终被0吸收或者此随机徘徊一直继续下去.被吸收对 
应于： 一切拥有初始赌本为 z 的赌徒甲与一个拥有无穷赌本的赌徒 z 博弈，赌徒甲破 
产.恰在第《次试验被吸收的概率、,„的母函数 U s (5) 也满足差分方程组（4.5)，因 
而也可化为 （4.9) 的形式，但是，除非 AG )=0 此解是无界的.现在另一个边界条 
件是 Uo ( s ) = l ， 从而 j 3(5) = l ， 所以 

U z ( s )= X !( s ) . (4.13) 

[回忆; ^ ⑴； l 2 ( s ) = g //> ，在 （4.11) 中令 a—co 可得同样的结果.] 

以^=1代人 （4.13) 得知： 当时，最终一定会被吸收，而当/> >9时，被 
吸收的概率为第2节中已得到过同样的结论. 

在0点被吸收，给无限制的随机徘徊的初达以另一'种主要的解释.确实，把原 
点移至 h 我们 发现： 心„是“从原点出发的在全直线上的随机徘徊在第《次试验初 
达 一 2<0” 的概率，对应的母函数 (4. 13) 是；1 2 的々次幂反映了这样一个明显的事 
实： 初达 的等待时间是相继初达一 1，一 2, …，一 ^的 z 个独立的等待时间之和. 


对/■的特殊情形，心《的精确公式在第3章 （7.5) 中已经用初等方法推导出 


来过. 注意，必须有 U + z )/2 步向左， U — z )/2 步向右才能达一^在目前的一般情 
况下，除了每条轨道的概率是 P <n ~ z) 2 - 而不是2_"以外，其他公式都成立， 

所以 



n 

(n-\-z)/2 



(rt-z) ; 2 


q 


(M+z) 


当 n 和 z 的奇偶性不同时，此处的二项系数理解为 0. (关于以母函数导出此公式， 
请见第 11. 3节的结尾，另一种完全不同形式的精确公式含于习题 ) 


14.5 显式表达式 


(4. 11) 中的母函数汰 (6) 形式上依赖于一个平方根，但是，实质上它是一个有 
理函数.事实上，利用二项式定理，可以将其分母化为 


A £ i(s)—A2(s)=^5" a yi —4/?gs 2 F a <5>. (5.1) 

此处当 a 是奇数时是一个 a — 1 阶的偶多项式，当 a 是偶数时是一个 a — 2阶的偶 
多项式. (4.11) 的分子除了用 a—z 代替 a 以外，与分母具有同样的形式.因此， 
是两个多项式之比，且分母和分子的阶数至多差 1. 因此，利用第章第4节的部 
分分式法，可以推出破产概率〜„的显式表达式.结果很有趣，因为它与扩散理论有 
联系，而且其推导对含于部分分式中的实际应用技巧提供了一种示范. 

应用如下定义的辅助函数 t 可以极大地简化 计算： 



(5.2) 
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(对0<0<1，对应于4的复位，但这不影响正式的计算 .） 由 （4.8) 有: 


Ai ( s )= vq/p [ cos^+z sin = vq/p 
把上式右边的/代以 一；， 则得到 a 2 g ). 所以 

sin(a —— z )^ 


U z U ) = ( Vq 7 p ) 


sina 於 


分母的根 h ，&，…都是单根，所以，可用部分分式法展开 如下: 


(5.3) 

(5.4) 


(^Jpr - --i - h pa ^—. (5.5) 

sma 9 Si~s 5 a ^i — 5 

原则上，我们只需考虑这些根&，它不是分子的根，但是， 若〜 也是分子的根，则 
[人 G ) 在&连续，从而& = o . 因此，这类根，不会对右边贡献任何量，从而没有必 

要单独处理它们. 

显然，根，…，^^对应于九 = jaVa ， 其中 y = l ，…， a —1. 所以 


2 vpq cos kv/ a 


(5.6) 


当 I ； 二而且 Ci 又是偶数时，此表达式没有意义，但是这时九也是分子的根，如上解 

释，它是可以抛掉的，因为它对应的项在最后的结果中为 0. 

为了计算化，把 （5.5) 式两边乘以再令 s — 回忆 一 下 ： sin a 1 = 0, 

cos a 九=1，得到 


p v = {Vq7pysn^zj> v • 

微分 （5.2)， 用洛必达法则可算出上式右边最后一项，结 果是： 

p v = a l • 2 ypq ( Vq/p) z ^r\z4> v • sin i> v • 

把 （5.5) 的右边展成几何级数得知，对《>1 总有： 

a —1 

u z ^ = 2 p v s ^ 1 ^ or 1 2 ypq ( Vq / py ^ s ^ 1 • sin j> v • smzj> v 

^；— I 1 

最 后得： 

a — 1 

u， n = ^ sin ^ sin ^. (5,7) 

‘， X a a a 

这就是在第 《 次试验的破产概率的明显表达式.这个公式曾经由拉格朗日和其他作 
家用各种不同的方法推出过^但是在许多近代文献中还可重新见到.有趣的是，像 
方法（或重复映像）可推出 m 2 ,„ 的另一种用二项系数表示的明显表达式.在第 16. 3 
节给出了 （5.7) 的另一种推导方法. 

当 (2—00 时，我们得到了一个拥有初始赌本2：的赌徒甲与一个拥有无穷赌本的富 
翁博弈时，赌徒甲在第 n 次试验破产的概率.（见习题 13.) 


1. 埃利斯 （ R . E . Ellis ) 用三角插值法给出过一个初等的推导■见 [86]. 





270 第 14 章随机徘徊与破产问题 


一 眼就可 看出： 对应于求和指标为 v = k 和 I = a 的两项的绝对值是一样的， 
当《和2的奇偶性相同时，它们的符号是一样的，而奇偶性相反时，它们相互抵消 
掉，因此， 当 ” 一 z 为奇数时 w ^ = 0， 而当 n — z 为偶数且 ">1 时有： 

广 ：) V 2 S cos - 1 ^sm ^sin —, (5.8) 

^ a a a 

其中求和号是对一切小于 f 的正整数求和. 

此表示式比 （5.7) 更自然，因为现在系数 cos U 构成一个单调下降序列，所以《充 
分大后，实质上仅仅第1项需要计算. 

M 4. 6与扩散过程的关系 

在这一节中.，非正式地讨论一种随机徘徊，其每一步的长度都非常小，但两步 
之间的时间间隔非常短以致于好像质点在作连续运动.极限情况就引出维纳过程 
(布朗运动）或其他的扩散过程.弄清这些过程与随机徘徊的紧密联系，对理解这 
两者都有很大的好处 1 .这个问题如像它曾用物理术语描述过一样，亦可用数学 

描述. 

最好是从由原点出发的无限制的随机徘徊开始. 第”步 使质点处于位置义，其 
中5„ =兄+…+足,是；7个相互独立的随机变量之和，而且每个兄分别以概率 P 和 
g 取值+1和 一1. 因此 

E ( S „) = ( p — q ) n , Var (. S „)—4 pqn . (6.1) 

第 3. 6节图 3- 4提供了这种随机徘徊当•时的图像.要把此图像适当地放人 

书的一页中去，需要选好两个坐标轴的尺度 • 现在进一步关注随机徘徊的运动图像- 
假定取1000秒（约16到17分钟），这期间随机徘徊要运动1 000 000步，也就是每 
一 步只花1/1000秒，这就固定了时间尺度.对确保记录与给定的高度的栅隔相匹 
配，选取什么单位是合理的呢？对此问题，我们用一个固定的测量单位，比如说， 
英寸或英尺来作为栅隔和每一步长的 单位. 于是，我们不再关心随机变量转而 
研究 3 S „， 其中3代表每一步的长度.因为 

E(dS„)^{p—q)dn, VaTidS n )=ipqd 2 n, ( 6 . 2 ) 

由中心极限定理易知：只有对 ” 000 000, (6.2) 中的两个数都比栅隔的宽度小， 
才可能有观察得到的影像.但是，若且3«与栅隔的宽度差不多，则与0几 
乎一样，从而影像呈直线运动而无明显的随机起伏.只有当是一个适度大小的正 


1. 此法有深厚的历史.巴舍利耶 （ UBacheUer ) 作了开创性的工作（尽管是探索性 的）. 他的工作 
鼓舞了科尔莫戈罗夫去奠定马尔可夫过程的严谨的数学基础.特别地，可参见文献 [87]. 





*14.6 与扩散过程的关系 271 


数，随机徘徊的性质才能显现出来，为此，只有当/>一9与5的大小差不多才行. 

如果问题是纯数学的，我们 断言： 除非所要求的图像表示是不可能的. 
但是，从物理观点着眼.情况就完全不同了.在布朗运动中，我们发现悬浮在液体 


中的质点以随机的方式运动，自然会产生这样的问题：这种运动是否可解释为小量 
质点在液体中多次猛烈碰撞的结果？当然，下面的假设过于 简单： 碰撞的时间间隔 
是一致的而且每次碰撞引起的位移都精确地为±次不管怎么说，作为初步的探讨， 
我们用伯努利试验观其效应，并问观察到的质点的运动是否与此图形一致.在单位 
时间内的实际观察中，我们发现一个平均位移 c 和方差令 r (未知的）是单位时 

间内的碰撞次数.则渐近 地有： 

{ p — q)dr — c ^ d 2 r — D t (6.3) 

除非 （6.3) 中的两个条件对 D >0 都满足，模拟的实验观察不到随机起伏.一个具 

有户=0.6和 3 r = l 的实验是可以想像的，但是其中的方差是如此的小以致于运动呈 

现出决定性的（而非随机的）现象 • 一 团最初紧靠在一起的质点，一直紧靠在一起， 

尤如一'个稳定体. 

本质上看，把一个系统中的状态的缓慢的起伏解释为随机碰撞引起的一系列的 
微小变化时，前面的讨论可以类似地应用到许多物理，经济，教育学，进化理论 
……等现象中去.简单随机徘徊模型实际上不会出现在任何特殊的场合，但是，幸 
好其情况与在中心极限定理中出现的类似.在非常宽松的条件下，单个变化的性质 
并不重要，因为观察到的效果只依赖它们的期望和方差.在这种情况下，自然拿简 
单随机徘徊模型作万能典型. 

总而言之，作为更深入研究各类随机过程的准备，自然要考虑这样的随机徘徊， 
其中每一步的长度$是很小的，单位时间运动的步数 r 是很大的，而且/>一？很小， 
平衡条件 （6.3) 也成立（那儿 c 和 D >0 都是给定的常数).词“大”、“小”是含糊 

的，有伸缩性的，这取决于实际应用中的需要 1 . 

问题的分析表述如下：对和的每 一 种选择，对应着 一 ■个随机徘徊.我们 

问，当 <5— 和 p — +且满足下列条件时： 

( p — q、§r — c ， ApqS 2 (6.4) 

随机徘徊的极限情况会发生什么？ 

有两种可取的 办法. 当我们拥有相关的概率的时候，可以直接取 极限. 我们将 
用此法来论证，因为它会给第3章中得出的极限定理和正态逼近以新的光彩.此法 
应用范围有限，因为它本身不易推广.更有效的方法是：从随机徘徊决定的差分方 


1. 单位时间内分子的碰撞次数是超出想像的.另一个极端是进化理论， 一 代到下一代的变巧是小的， 
而且两代之间的间隔不能小到用天来作标准.考虑代数也不是没有根据的.但是可能进行数千代 * 
要 点是： 过程在这样一种时间尺度下进行，使得在实际中出现的变化是连续的.具有连续时间参数 

的扩散模型要比随机徘徊模型好. 
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8 幻 (“ 工 ) 

Bt 


dv ( t 9 x ) 

0 LT 


1 9 2 v (^ x ) 

y d ~^~ 


( 6 . 12 ) 


这就是一个特殊的扩散方程式~~^所谓的福克-普朗克 （Fokker-Planck) 扩散方程 
式.计算是正规的且富有探索性，组 （6.7) 中的函数^满足微分方程式 (6.12) 
并不令人惊奇.此外还可证明， （6.7) 是具有概率解释的某些性质的扩散方程式的 
惟 一 解. 

扩散方程式 (6.12) 可以推广到 c 和 D 依赖于 i 和 i 的情形.此外，在高维的情 
形，可以进行类似的推导，而且所有这些推广，都可以从一般的概率要求直接推出. 
这个主题将在第二卷第10章中讨论，此处，我们必须简要地陈述随机徘徊与一般的 

扩散理论的联系. 

作为第二个例子，取出前两节中讨论的破产概率基本差分方程组 （ 4 . 1) 
与 （6.9) 的差异仅仅是系数/>和9交换了一下位置/正式计算显示， (6.11) 导出一 
个扩散方程，它就是把 （6.12) 中的 一c 代之以 c 而得到的方程式.取极限可以由 
导岀函数 wUd)， 它满足修正的扩散方程，而且它还有类似于《^的概率意义. 
在由点$>0开始的扩散过程中，“质点在到达 a >6以前到达原点”这一事发生在时 
间区间& <0<« 2 内的概 率为： ►在此时间区间上的积分. 

正式的计算如下.对有明显表达式 （5.8). 因为2和《必须有相同的奇偶 
性，心,„对应于•和 (^+2)^ 之间的区间，我们要计算 r—oo 和0并满足 （6.4) 
时，比 极限. 区间长度 a 和初始位置 z 必须调整到能得到极限 a 和彡.因 
此， z 〜冬/8, a 〜 a {匕 现在很容易求出 （5.8) 中单个因子的极限 • 

从 （6.4) 得 2 p 〜： L + M / D ， 而且 

2g 〜1 — cd/Di 


以 （6.4) 的第二个关系式易见 a 2 r-a 因此 

(4/>g) + ” （ g/»h 〜（ l-c 2 5 z /D 2 ) +(rt) (l — 2d/D) +f/5 〜r + 

类似地，对固定的 r 




—十 t/ r ： 2 Dt !a 


* 


e- 〜 D . (6,13) 

(6. 14) 


最后， sinu tz 8/ tz 8/ a* 代入 （5.8)， 正式导出: 


u ( t ，0 = ^Da 


-2 -'T(cr^2^)c 


■w—--p 1 

s 


ue 


^ vkDi fa 


sin 


(6, 15) 


(因为级数一致收敛，不难验证上述正式的计算 •） 在物理的扩散理论中， （6. 15) 称 
作初达的弗思 ( Furths ) 公式.[对 a 二⑺的极限情形，见习题 14. (6, 15) 的另一种形 


式，见习题22, ] 


1. 理 由是： 在〜,„中2代表初始位置，而 I ,是破产时所处的位置 * 用第二卷中的术语来说，依赖于 
初始位置的概率满足倒退（回顾的）方程，另一个前进（或福克-普朗克）方程 • 在物理中，某些 
时候称后者为连续性 方程. 类似的情形，将在第17章中遇到. 
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<14. 7平面和空间中的随机徘徊 

在二维随机徘徊中，质点沿平行于: T 轴或平行于 _ y 轴的四个方向之一移动一个 
单位距离.对于从原点出发的质点来说，其可能位置是平面上所有坐标为整数的点. 
每一个位置有四个邻近的位置.类似地，对三维情形，每一个位置有六个邻近位置. 
为了定义随机徘徊，必须给定对应的四个或六个概率.为简单起见，我们只考虑所 
有方向都具有相同概率的对称情形.问题的复杂性比一维的情形大得多，因为现在 
限制质点运动的区域可以具有任意形状，故复杂的边界取代了一维情形的单点壁. 

我们从波利亚的 一 个有趣的定理 1 开始. 

定理 在对称的一维或二维随机徘徊中，质点迟早要返回其初始位置的概率为1 
(因而返回其初始位置无穷多次的概率亦为 1). 然而，在三维的情形，这个概率<1 
(约为 0. 35,其返回次数的期望值为 0. 65 l >(0. 35)' = 0. 35/0. 65^0. 53). 

在证明此定理之前，先给出波利亚所作的两种说明.首先，由这个定理容易推 
出： 在一维和二维的情形下，质点经过每一个可能的位置无穷多次的概率为 1;然 
而，在三维的情形下，上述结论都不成立.所以，此定理在某种意义下，就二维情 
形而言，为“条条道路通罗马”这一谚语提供了根据. 

.另一 方面，考虑独立地作对称的随机徘徊的两个质点.假定它们每次移动都同 
时发生.它们是否迟早会相遇？为叙述简单起见，我们定义两个可能的位置 的距离 
是： 从一个位置到另一个位置的最小步数.（于是，此距离是对应的坐标之差的绝对 
值之和 .） 如果两个质点各移动一步，则它们之间的距离或者保持不变，或者改变两 
个单位.所以，它们的距离或者在所有的时刻都是偶数，或者在所有的时刻都是奇 
数.在第二种情况下，这两个质点永远不会占据同一个位置，在第一种情况下容易 
发现，它们在第〃步相遇的概率等于第一个质点在步内到达第二个质点的初始位 
置的概率.因此由定理可知，在二维的情况下（在三维的情况下不成立），两个质点 
必有无穷多次占据同一个位置.如果两个质点的初始距离为奇数，则用类似的方法 
可以证明，它们将无穷多次地占据相邻的位置.如果把这两种情况都叫做相遇，则 
定理断言： 在一维和二维的情况下，两个质点必定相遇无穷多次.但是，在三维的 
情况下，两个质点永不相遇的概率大于 0. 

证对于一维的情形，此定理已在第13章第4节例 （ b ) 中用循环事件方法证明 
过了，对二维和三维的情形，可根据同一思路来证明.设〜为质点在 第”次 试验返 
回初始位置的概率.根据第 13.3 节定理2,我们要证明在二维的情况下， 发散; 
而在三维的情况下， 53. 对二维情形，仅当沿工轴与轴的正向移动的步数 


* 本节讨论特殊主题，初读者可略去. 

1.见 [88]. 数值 0.35 是由麦克雷 （ W . H . McCrea ) 和惠普尔 （ F . J . W _ Whipple ) 算出的，见 [89]. 
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分别等于沿 x 轴与3/轴的负向移动的步数时，质点才可能回到初始位置.所以, 


为奇数，则^ = 0;再利用第6章多项分布公式 （9.2) 有 


若 n 


n 


^2n 


2n 


2 


( 2 ")! 


2 n 


k \ k \( n ~ k ) \ (n — k ) \ 4 


Zn 


n 



n 

k 


2 


a l ) 


根据第 2 章公式 （12.11)， 上式右边等于 4 

与 1 同阶，所以 e W 2 „ 发散. 

在三维的情形，用类似的方法可 求得： 




2n 


2 n 


2 


n 


由斯特林公式可知：^的大小 




Zn 


s 


(2^)! 


'k 


171^ I^ I (/? — j — k )! (” 一 j — 走）！ 


(7.2) 


其中的和是对一切满足 J +々< n 的 J /与々来求的. 易证: 


2 n 




■ 2^ 


n 


)2 


3 tt j \ k\{n 


n\ 


2 


k )\ 


(7.3) 


花括号内的项表示三项分布，我们知道，其和为 1. 故其平方和小于该括号内的最大 


项，而后者在_；与々最接近 f 时达到.由斯特林公式 可知： 这个最大项的大小 与+同 

阶，故⑻的大小与同阶，所以收敛.证毕. ► 

最后，我们讨论推 广吸收 壁概念的另一问题.考虑二维的情形.这时，代替区 
间的是一个平面区域 D ， 一个坐标为整数的集合.每个点都有四个邻近的 
位置，但对于 D 中的某些点，有一个或多个邻近的位置在 O 之外，这种点构成 D 的 
边界，其余的点都称为内点.在一维情形下，边界由两个壁构成.我们的问题是要 
求出从 z 出发的质点到达 a 之前到达界边点0的概率.类似地，现在我们要求 出：质 
点在到达某段边界之外的任何点之前到达这段边界的 概率. 这意味着，我们把边界 
点分成 B ' 与两个集合.设 ( x ， y ) 是一个内点，我们要求出从 U ，： y ) 出发的质点在 
到达 B " 中的点之前到达政中的一个点的概率 M Cr ，： y ). 特别地，如果扠由一个点构 
成，则 《( x ，_ y ) 是质点迟早要被这一个特殊的点所吸收的概率. 

设 U ，_ y ) 是一个内点.在第一步以后，质点从 Uj ) 移到四个邻近位置 U ± l ，_ y )， 
Cr ，_ y ± l ) 中的某一个，如果这四个邻近的位置都是内点， 则有： 

u ( x ^ y ) =-~\_ uix -] r \ y ) u { x — \ ^ y ) ~\~ uix ^ y -\~\) -\~ u{jc •> y — X )^. (7. 4) 


这是一个偏差分方程式，它对应于一维情况下的方程式 （2.1) (其中 >= g = + ). 如 

果 ( jr + l ，3^) 是一个边界点，则对应于它的项 w (: r + l ,： y ) 必须按 (: c + l ，3/) 属于 B ' 或属 
于# 而分别以1或0代之. 因此，当边界点(匕7?)在中时，我们令 w ($，7) = l ; 而 
当中时，令则 （7. 4 ) 对所有的内点都成立.这个约定相应于 

一维情形的边界条件 （2.2). 

(7.4) 是关于未知数 j ) 的一组方程式，每个内点对应于一个未知数和一个 
方程式.此线性方程式组是非齐次的，因为在其中至少出现中的一个边界点 
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(6，彳)，而这个点使得方程式的右边出现一项 +. 如果区域 D 是有限的，则方程式的 

个数与 未知数的个数一样，所以，这个方程式组有惟一解的充分必要条件是对应的 
齐次方程式组（对于所有边界点 都令 〆 $， 0=0) 只有恒等于0的解.由于是 
四个邻近 值 〆 : r ± l ，3；), M (: r ，3；± l ) 的平均，所以它不可能比这四个值都大，也不可 
能比它们都小，换句话说，既不可能是严格意义下的极大值，也不可能是严 
格意义下的极小值.所以最大值与最小值只能在边界上达到.因此，若所有的边界 
值为0,则在所有的内点亦为 0. 这就证明了 （7.4) 的解的存在惟一性.因 
为边界值为0或1，故一切 M ( x ，_ y ) 的值均在0与1之间，这正是它们作为概率所应满 
足的条件.根据无穷马尔可夫链的一个一般定理，我们将要 看到： 以上陈述对于无 
穷区域的情形也成立 1 . 

*14.8 广义一维随机徘徊（序贯抽样） 

现在再回来讨论一维的情形，但扬弃质点每次只移动单位步长的 限制.假定: 
质点每 一 步由 X 移动到 >r 十 々的概率为 P * ， 其中整数々可以是零，是正或是负.我们 
研究如下 的破产 问题： 质点从位置 z (0 O < a ) 出发，我们要求出质点在到达任何 
大于等于 a 的位置之前到达小于等于0的某个位置的概率 仏，换句话说，质点在第 n 
次试验后的位置是 T 轴上的点 2： +足+足 十… + X „， 其中 {兄 } 是相互独立的具有公 
共分布的随机变量序列_当 足+ … + 或 Xj … + X „> a - Z 第一次出 

现时过程停止. 

此问题，由于它与 序贯抽 样有关而受到普遍的注意，那里 X * 表示样本或观察的 
某种特征.测量一直进行到兄+…十落在两个事先给定的界限（即和“一 z ) 

之外为止.岀现第一种情况就拒绝；第二种情况就接受 2 . 

例 （ a ) 取巴特基的双重抽样检查方案来作说明.检验一种货品，抽取一个大小 
为 JV 的样本进行全面检查.假定样本是统计独立的并且每组样本中有缺陷的货品的 
件数服从二项 分布. 在每组样本中，用一'件货品去替补一件有缺陷的货品，于是可 
令兄+ 1是第 々个样 本中有缺陷的货品的件数.因此，对々>0有 

^ 1 N— 1 

久 —U+i 焯 9 


1. 只有在少数情况下，精确解才知道，而且总是很 复杂. 对于矩形区域和无穷条形区域的解，请参见 
[89]. 

* 这一节以后用不到. 

2 . 序贯分析是瓦尔德在第二次世界大战期间联系一些重要的实际问题而发展起来的.近代的处理方法 
可以在数理统计的教科书中找到.巴特基方案是用1943年的例子来描述的’这或许是最早见诸文 

献的序贯抽样方法. 
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而且•，久=0对一切: r < —1. 操作规则可描述如下：抽取一组原始的样本， 
如果没有有缺陷的货品，则整个货品都 接收； 如果有缺陷的货品的件数超过 a , 则整 
个货品都拒收.因此，这两种情况出现任何一种，抽样过程都停止.如果有缺陷的 
货品的件数 z 落在区域中，则抽样按上述方法继续进行，持续多 
久，抽样就持续多久. z 迟早会变为0 (这时接收全部货物）或大于 a (这时拒收全 
部货物). ► 

不失普遍性，可设既可沿正方向也可沿负方向移动.否则对一切 A 或者 W = 0 或 
者 ^ = 1. 显然，在第一步就破产的概 率为： 

= rl 十户 -:-2 + … （ 8.1) 

(此数可能为 0). 只有当质点移动到位置 X 满足0<1<«，随机徘徊才继续进行下 
去，从 z 跳到 I 去的概率为而此后破产的概率为〜.所以 

Q—\ 

— D u r pj^ z (8. 2) 

此处，我们再次得到具有 a — 1 个未知数的 <2 — 1 个线性方程式.方程组是非齐次的， 
因为至少对2 = 1，概率 n 不为0 (因为允许沿负方向移动).为证线性方程组具有惟 
一的一组解，我们必须证明相应的齐次方程组 


0-1 

u z — 2 ^j (8_ 3) 

只有0解.为了减少在证明中出现的下标的个数 ， ♦ P — 和 (但是，对具有负指标 
的正项，推理一样适用).于是假定〜满足 （8.3) 并令 M 是这些的最大值•令 
U r ^= M , 因为 （8.3) 中的系数么1加起来小于等于1，所以只有当 （8.3) 式右边确 
实出 现的〜 （具有正系数）都等于 M 而且它们的系数之和为1才可能使（8_ 3 )式对 
成立.所以 ifM ， 用类似的推论 可知： 然而，当 
2； = 1时， （8.3) 式中的系数 九 - r 之和小于1，所以 M =0. 

由此推知， （8.2) 有惟一解，从而问题得解 • 引进下列边界条件来简化 （8.2) 


的 书写: 


心 =1 当 x^O, 

^ = 0 当 ： r > a . 


(8.4) 


于是 （8.2) 可写为下述 形式： 

u z = ^ lu x p x — z ， (8_ 5) 

此处之求和跑遍一切二[对: r > a ，由（8_4)中的第二个条件，它对 （8.5) 中的和 


没有贡献；对 x <0， 由 （8.4) 中的第一个条件，其贡献加到〜中去了 •] 

对于很大的 a , 直接解 a — 1个线性方程式是很麻烦的，而用类似于第2节中使 
用的特解的方法较好 • 当概率分布的正项数相对小时此法可行.假定只有当 
一 时，九才不为0，那么，在正方向和负方向的可能的最大跃度分别为"和 


v . 特征方程式: 


I^p k a k = l 


(8-6) 
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述推理用之为此解.因此，在目前的情况 下有： 

总之，我们有下述的 定理： 


( 8 . 12 ) 


定理如果{办}的均值为0，则破产问题的解满足不等式（8_11);如果{^}的均值不为 
0，则此解满足不等式 （8.12). 其中 m 为 （8.6) 的不等于1的惟一的正根，而 "与 u 分别为 
pky ^ O 的最大与最小的下标. 

为一次试验中的 赢利的期望值（或一 步的长度的期望值).由 （8.6) 易见: 
当 / n <0 时， cn > l ; 而 m >0 时， ^<L 令 a — ⑴， 由上述定理 推出： 与具有无穷赌本的富 
翁进行博弈时，最终破产的概率为1的充分必要条件是 m <0, 

博弈 的持续时间， 可用类似的方法来进行讨论（见习题 9). 


14. 9 习 题 


注意： 习题 1 — 4 只需参考第2节，而且并不需要计算. 

1. 在一个从原点出发的随机徘徊中，找出质点在到达一^ <0 以前到达 a >0 的概率 • 

2. 用第2节的记号与概念，证明下列诸命题. 

( a ) 在一个由原点出发的随机徘徊中，在返回原点以前到达点 a >0的概率为 〆 1 一 a )• 

( b ) 在一个由 a >0出发的随机徘徊中，在返回出发点以前到达原点的概率为 

3. 设 q > fi . 由上一问题证明 ：在一 个由原点出发的随机徘徊中，在第一次返回原点以前，访问 

点 a >0的次数服从具有公比 1 — H 的几何 分布. （为什么9 的条件是必要的？） 

4. 用前面两个问题证明定理 S 在第一次返回原点以前，访问点 a >0的次数的期望， 当/> 
< Zq 时为（户 / qO a 而当户 = <7时为1, 

5. 修改随机徘徊的模型 如下： 假定质点向右移动一步、向左移动一步和原地不动的概率分 
别为《、/?和 y ( a +/3+7 =D -(用博弈中的术语来说，结果可能是平局 .） 考虑第2、3两 

节中破产问题. 

6. 考虑第2、第3节中的破产问题当原点置有弹性壁的场合（如第1节所定 义）. 破产概率 
(吸收到原点）的差分方程和持续时间的期望都是一样的，但具有新的边界条件. 

7. —个质点每移动一次，或则以概率/>向右移动二个单位长；或则以概率向左移动一个 
单位长 （；>+ g = l ). 如果出发的位置是试求该质点迟早要到达原点的概率 
(这是一个“对于拥有无穷赌本的富翁”的赌徒的破产问题 .） 

提示：类似于（2.1)，导出一个有特解仏=1和两个形如，的特解的三次方程 • 此处 A 
满足一个二次方程. 


1. 此结果用公平博弈的语言来表达更为精彩，一个均匀的硬币一直扔到第一次出现正、反面的累积次 
数相等时为止 • 赌徒每当出现正面的累积次数比出现反面的累计次数多 ⑺时， 就贏得1元.而 
“公平的入场费”是1，与 m 无关. 

不同的（初等）证明，见第二卷第 12. 10节习题 1 — 2. 
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8 . (续上题 证明： 在一个伯努利试验序列中，失败的累积次数两次超过成功的累积次数 


9. 


迟早要出现的概率为 

[当产 g 时，此概率为 ( W —1)/2.] 

在第8节的广义的随机徘徊中，令[类似于 （8,1)] & =九—,+九 +1 —…，并令 
汰,《是此随机徘徊恰巧持续〃步的 概率. 试证对 有： 


dz ， 




， npoi ^ x 、 

JT— 1 


d Zi \ — r z ^ rp zm 

并由此证明母函数尤⑹ = 是下列线性方程组 的解: 


a^ l d z (a) — ^d x (a)p^~, = 
微分之，可推出平均持续时间6是下方程式之解： 


r z 十 pz* 


^ J ^Xp JT-Z 

10. 在一个在点0和 a 都置 有吸收 壁的初^位置为2的随机徘徊中，令叫,“工)是第”步它质 
点处于 I 的概率.找出决定 W _(: c ) 的差分方程组和边界条件 • 

11. (续上 题).对具有两个 反射壁 （即具有 §=1 的弹性壁）的情形，修正其边界条件， 

12. 在-个具有可能位置为1，2,…， ^一1 的对称 （p = W 随机徘徊中，在0置有吸收壁而在 


另一端点置有反射壁 • 找出被0点吸收的等待时间的母函数_ 

13. 初达概率的另一形式， 在破产概率的显示表达式（5_7)中，令 


试证其结 果为: 




Z n p (j 


■^) /2 /2 


cos n ^ 1 %x • siriTrx • sinnxz dr * 


因此，此公式必须等价于 （4.14). 用证明其相应的母函数和边界条件都是一样的办法， 


来验证上述事实. 

14. (续上题).扩散中的初达 • 证明：按第6节描述的方法取极限，将把上一问题中的‘《的 
公式化为表 示式： 


Z ^-<z+ci) 2 K2Dt ) ， 

\/ 

此式是一个从点 2>0 开始的扩散被 o 吸收的等待时间的概率密度.当 p = g 时，此结果 
等价于第 3. 7节的极限定理 3. 

注意在下面的问题中，^^是 （6.1) 式中的概率，即一个从原点开始的无限制的随机 
徘徊，质点在第”步到达位置$的概率，第 3_ 1 节的反射原理导出另一种处理方法. 

15. 映象方法 2 设 考虑在原点具有吸收壁，初始位置为 z >0 的（0, oo ) 中的随机 


1_此问题是由纽曼 （ Newman ) 提出来的‘其解是前一问题（在第二版）的简申推论，读者可试着用 
同样的方法处理代 A 以一个有理数的情形 • 文献 [90] 沿另一不同路线去解此问题. 

2. 习题15—17 是映象方法的 例子.项对应于无限制的随机徘徊中的一个质点，则〜对应于一 
个 “象点，，.在 （9.1) 中，我们发现从不同位置出发的象点可以从在两个边界处的重复反射得到 .在 
习题20—21中，我们利用母函数方法得到了关于非对称随机徘徊的一般 结果. 在差分方程论中，总 
是把映象法归功于开尔文 （ LKelvin ). 在概 率谂文献中，等价的反射原理通常认为是安德烈 
(U Andre ) 的贡献.参见第 3. 1节的脚注. 
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徘徊_设 i ,( x ) 是质点于第 n 步到达位置 x >0 的概率， 试证： 迅—奶+,， 
[提 示： 证明对应于 （4.1) 的差分方程组与适当的边界条件得以满足 .] 

16. (续上题). 如果在原 点置一反射壁 ，则 

认 z ， w Z z -1 ， n • 

17. (续上 题).如果随机徘徊限制在（0, a ) 内而且两端都是 吸收壁 ，则 


U z ^(x) = 2 _J 《 

k 


— z — 2hi < n ^jr~i~z 一 2ka . 



(9. 1) 


其中的和是对所有的 A ( IE 的或负的）来求的（但只有有限项非 0). 如果两个壁都是反射 
的，则用加号代替减号且用 a + z — 1代^ 后、 (9.1) 仍然成立. 

18. 最大坐标的分布. 在一个对称的无限制的从原点开始的随机徘徊中，令紙是质点在前 77 

步中所处位置的最大的横坐标.利用习题15 证明： 

P { M n = z ) = v ZhTJ - hv z ^ Un . (9. 2) 


19. 设 K ， ⑴= Si〆 7 ( 参看习题 15 前面的注意).证明：当工 <0时， V .(5)= V 0 (5) A 2 ^ 
(5)； 当 时， V ^(5)= V 0 (5) Ar j (5), 其中 AiG ) 与 A2G ) 由 （4,8) 定义，此外， Vo ( i ') 
— ( l — Apqs 2 )^^. 

注意： 这些关系可以直接从下述事实推出；第 4 节中曾证明 Ai ( 5 ) 和 A 2 ⑴都是初达时的母 


函数， 

20. 在初始位置为 z 且原点置有吸收壁的并在 (0, oo ) 内的随机徘徊中，令心, 〆 ：!：)是质点在第” 


步到达位置: r 的概率，再令 

[o 

U z ( s ； x ) = ( x )5' (9.3) 

n=^0 

应用习题 19. 证明 U z (s ； x)=V^ z (s)-X z 2(sWAs). 由此推出 

U z tr j C -ul* ) 'V.r — m + m » (9-4) 

试与习题 15 中的结果比较，并用组合方法由后者推出（9. 4 )* 

21. 破产概率 （5.7) 的另一公式 .将 （4.11) 展成几何级数，由此证明： 








此处是由 （4.14) 定义的初达概 率- 

22. 如果将第 6 节中取极限的方法用于前一问题中所给出的 I. 的表达式，试证：吸收时间的 


概率密度为 1 . 

OC 

i c -( cjl (2 d ) (芒 + 2 fo ) e 〜 (卜 2fcr (2D) • 

\/ 27 zDt 3 

(提 示： 应用二项分布的正态逼近 .） 

23. 破产问题的更新方法 2 .在具有两个吸收壁的随机徘徊中，令《_和“二分别吸收于左 
壁和右壁的概率_用适当的解释证明下列两个方程式成立： 


1. 此新公式与极限形式 (6.15) 的一致性，是0函数论中一个熟知的 事实， 见第二卷第16章 （5. 8). 

2. 习题23 — 25包含有关于一维随机徘徊的一些主要结果的独立的新推导- 
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Ws)=U 山 )V 山 ) +LJ; (s)V 一山 V ， 
V a ^ z (s)-UAs)VAs)+U ： (sWo(s). 

通过解此方程组求 RG ) 来推导出 （4.11). 

24. 设是从 z 岀发的质点在第《步未触及吸收壁以前到达 x 的概率.利用习题23的符 

号， 证明： 对母函数有下述关系 

U z (s ； x) =V^ z (s) —U z (s)V t (s) —U: (s)V^a (s). 

(无需计算 .） 

25. (续上题). 上一问题中的母函数 a ( 5; x ) 可以用下述方法 得到： 令 U ,( 5; : r )= Vf “ 5 ) — 
Ak \( s )- m ( s ), 并选择适当的常数 A 和6,使得当2=0和; r = a 时边界条件 L /,( s ; x ) = 
0成立.对于反射壁，边界条件是 U 0 ( s ； jc ) = U \ ( s ;: r ) 和 U a ( s ； x ) ~ U a ^i ( s ; x ). 

26. 用解适当的差分方程式 证明： 

— (27t) _l 2 n p { ^ )/2 q iv ~ x)，2 cos n t • costcck ， 


并推出 


V 山） =(27 c )- 1 


A 

Q 


cosir 


^ 1 — 2 vpq • 5 • cos ， 


d ^. 


27. 在三维对称的随机徘徊中，质点经过任何特定的直线工二 w ，3 /二〃无穷多次的概率为1_ 
(提示：参见习题5, ) 

28. 在从原点岀发的对称的二维随机徘徊中，质点在第 〃步到 达点(工以)的概 率为： 




(2 tt )" 2 2~ 7 


r 


(cosa + cos /?) 71 • cosjOx • cos ^9 da 雄 


证明此公式，并求出三维情况下的类似公式.（提示：检验此表达式满足适当的差分方 


程式 .） 

29. 在对称的二维随机徘徊中，令戊 二: r 2 + y 为在时刻 n 质点与原点距离的平方.证明: 

EdX )= n . [提 示： 计算 1 — 以）. ] 

30. 在对称的 J 维随机徘徊中，质点无穷多次返回它先前曾占据过的位置的概率为1_ [提示: 
在每一步移动到新位置的概率最多为 (2 d — l )/(2 d ).] 

31. 证明在第 8 节中描述的方法，对破产的等待时间的母函数仏⑴仍然可以使用_ 


1. 原著此式右边之+号误印为等号.——译者注 
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15. 1 定 义 

到现在为止，我们主要讨论如下描述的独立试验 序列： 其可能结果是由&， 
£： 2 ,…构成的集合（有限或无穷集合），对每个&，有对应的概率 A ，样本序列的概 
率由乘法性质来确定， ， E A ，…，&)}=九，朽…久.在马尔可夫链理论中，我 
们考虑下述最简单的 推广： 允许每次试验的结果依赖（仅依赖）最邻近的前一次试 
验的结果.此时结果仄不再对应于一个固定的概率化，但是对每一对结果 ( E ” E k ) 
有 - 个条件概率与之对应，即已知在某次试验出现乓的条件下，下次试验出现 
&的 （条件）概率为九,.除 A 、 以外，我们还必须给出初始试验中出现结果 &的概 
率根据的意义，对应于二次、三次或四次试验的样本序列的概率必须如下 
定义： 

P{ (E, ,E k )} 二 ah ， P{(E”E k ,E r )} =a } p }k p hr , 

P{ (Ej ， E k ， E r ， E S )} = djpjkpkrPrs. 

一般地， 

P 〈 (E 、， Ej 、 ， … ， Ej, ) ) =a j 0 Pjj, Pjj, '''Pi, ,J, , Pi„ • (1.1) 

此处初始试验用 0 来标号，所以标号为1的试验实为第2次试验.（此约定是方便的， 
上一章中就隐性地引进了这一约定 .） 

其实上一章讨论的几个过程就是乌尔可夫链，只不过对不同的特殊情况常常用 
不同的符号和模型来处理罢了.本章的主要结果是某些极限和平衡分布的存在性， 
当然，它们与符号无关而且可用于一切马尔可夫链. 

例 （ a ) 随机徘徊.直线上的随机徘徊是一个马尔可夫链，不过，自然地要把其 
可能位置用双无穷序列… ，一 2, 一 1，0,1，2,…来标序.用这种标序法，只有往邻近的 
位置转移才是可能的，即是，除非&=_/±1，九 =0. 用我们现在的符号，我们必须把 
整数排成下列简单的 序列： 0，1， 一 1，2, 一 2,…，而这会导致概率 Pp 的公式不好看•对 
高维的随机徘徊，此附注亦适用.在实际计算中，把点用其坐标来表示较为方便， 
但是，此章的符号能用于理论研究. 

( b ) 分支过程. 与其说“第;7次试验的结果是 £ V ’， 在第 12.3 节中，不如说“第 
«代的成员有々个”.否则，我们就考虑一个标准的马尔可夫链，其转移概率是给 

定的母函数的_；次方的/前的系数. 

( c ) 罐子模型. 显然，第 5. 2节中的几个罐子模型都是马尔可夫链.反之，每一 
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个马尔可夫链等价于一个如下的罐子模型.每一个出现的下标用一个罐子来代表， 
每个罐子内装有标有记号£\，£： 2 ，…的球.每个罐的成分是固定的，但各个罐的成分 
可以不同，在第 j 个罐中任取一球取到标有记号^的概率为在初始（即第0 
次）试验中，按概率分布 U ,} 任取一个罐子，并从该罐中随机地取出一球，如果该 
球的记号 为巧， 则下次从第个罐中取球，依此类推.显然，按这种手续，序列 
(£ 7 „, E A ，…， &) 的概率由 （1.1) 所给出.我们 看出： 马尔可夫链的概念并不比罐 
子模型更一般，但新的符号系统更实际、更直观. ► 

如果〜 是初始（或第0次）试验出现&的概率，则必有〜>0且 E 〜=1•此 

外，巧出现后，下次试验必然出现某个£；，所以对全部 j 和6必有 

— = 1， (1.2) 

我们要 证明： 对于满足这些条件的任何数々和 h ,，(1-1) 式的賦概法对 m +1 次试 
验中的样本空间的概率的定义是合理的.因为由 （1.1) 定义的数是非负的，所以我 
们只需证明其和为1，首先固定 ）。，义， …，并将 （1.1) 中的数对所有可能的人 
求和.对）=人-!利用（1.2)，立刻发现其和为(因此，所有 （1.1) 
形之数不依赖于又因为二1,故对一切《而言，此和等于 1. 

定义 1.1 形式上依赖于试验次数，但上述论证说明定义 （1.1) 对一切《具有相容 
性.例如，为了得到事件“头两次试验的结果为 (玛， K )” 的概率，我们必须固定乂 = 
々而对 （1.1) 的概率对一切可能的 > 2 ，)3,…，人求和.我们刚才已经证明此和为 
ajp jk ,它不依赖《.这意 味着： 通常没有必要明确地指出试验的次数，事件（民， 
E ; i ，…， &) 在所有多于 r 次试验的样本空间中的概率都是一 样的. 关于独立试验序 
列，曾多次 指出： 从数学观点来看，最好只引进惟一的无穷试验序列的样本空间， 
而把有限次试验的结果看成是一个无穷序列的开头部分，此叙述对马尔可夫链也对. 
可惜，无穷多次试验的样本空间超出了本卷书只限于讨论的离散概率论的范围. 

综上所述，我们的出发 点是： 

定义 可能结果为巧，£ 2 ，…的一个试验序列称之为一个马尔可夫链 1 ，如果其 
样本序列的概率由 （1.1) 所定义，其中 {々} 为状态在初始（或第 0 次）试验的 
概率分布，而 心 是上次试验出现 E , •的条件下，下次试验出现的条件概率. 

为适应马尔可夫链的应用，把术语略加改变.把可 能结果 迳说成 是系统的可能 
状态，把第《次试验出现结果^说成是第 n 步到达 ^或第 n 步进入匕.最后，称 
为由&到^的转移 概率. 如通常一样，我们设想试验是按一致的速度进行的， 

所以步数可视为时间参数. 


1. 这不是标准术语.此处考虑的只是一类特殊的马尔可夫链，严格地说，此处及以后诸节，术语马尔 
可夫链前应加上定语“具有平稳转移概率”.实际上，一般的马尔可夫链很少研究.其定义将在第 
13节中给出，那里的马尔可夫性将联系一般的随机过程来讨论.在那里，读者还会找到不是马尔 

可夫链的相依的试验序列的例子. 
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转移概率可以排成一个转移概率 矩阵: 



>1 

P\2 

Pn …— 

! 


P2l 

p22 

P.n … 


p= 

P3l' 

* 

p32 

P33 … 

* * * ! 
攀 I 

(1.3) 

i 

• 

—- + 

• 

• 

1 

« 

* * « 

# — 

* 


此处第1个下标代表行，而第2个代表列_显然， P 是一个方阵，其元素非负而且 
每行之和为 1. 这种矩阵（有限或无穷）称为随机矩阵. 每一个随机矩阵都可作为 
转移概率矩阵，连同初始分布它完全决定了一个具有状态 … 的马尔 


可夫链， 

在某些特殊场合，把状态数从0开始编号比从1开 始好. 这时要把第0行和第0 
列添加到 P 中去. 

历史 附注. 古典文献中用罐子模型处理的各种问题，现在都以马尔可夫链的形式出现， 
但是，其原始方法却完全不同.进一步地，许多罐子模型由于其具有后效而有不同的特性， 
而且这些本质差异并不完全 了解. 事实上，在马尔可夫的奠基性的工作发表很久以后，这些 
东西还含混不清.马尔可夫 （ A . A . Markov , 1856—1922) 建立了有限马尔可夫链的基础•但 
其具体应用仍然大量地局限在洗牌和语言学等问题上，而理论处理往往应用代数方法，此类 
方法在下一章中将要 描述. 弗雷歇 （ MFrechet ) 曾发表专论综述这一方法阳 夂 

具有无穷多个状态的马尔可夫链的理论是科尔莫戈罗夫引进的 [92] . 本书第一版曾用新方 
法讲述这一理论使之易于被广大的公众接近，并引起人们对各种可能的应用的 关注. 现在马 
尔可夫链已经变成概率论中的标准的专题，并成为许多应用的熟知的 工具. 关于它的更多的 
当今的理论发展，可参见第11、12节的附注. 

15. 2直观例子 

(关于在古典的洗牌问题中的应用，请参见第10节 •） 

U ) 当可能状态只有 G 时，转移概率矩阵必是下述 形式： 

"I 一 p p 

P = _ • 

— a 1 _ a- 

这种链可以由下述形式的实验来生 成. 一个质点在轴上按下述方法 运动： 其绝对 

速度保持常数，但其方向可以相反.如果质点向正方向移动，则说系统处于状态 
如果向左移动，则说系统处于状态巧 • />是当质点向右移动时改变其方向的概率，《 
是当质点向左移动时改变其方向的概率.[此链在第 16.2 节例 （ a ) 中有完整的 

分析 •] 

( b ) 具有吸收壁的随机徘徊. 令可能状态为£。，芯1，…，尽，考虑其转移概率矩阵: 
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0 
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0 
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.0 

0 

0 

0 
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0 
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从每一个“内”状态 K ， …，出发，向右邻域和向左邻域转移都是可能的 
(分别具有转移概率 P,, r +i 和 Pi . ，-1 ==<?)• 然而，对状态 E 。 或来说，不能转移到 
其他任何状态，系统可以由一个状态转移到其他状态，但一旦到达^或尽，则系统 
永远固定在原状态上.显然，此马尔可夫链，与上一章讨论的在0和^具有吸收壁的 
随机徘徊模型只有术语上的差异而已.那里的随机徘徊从区间中固定的点 z 岀发 • 
用马尔可夫链的术语来说，这意味着选择下列初始 分布： 〜二1 (从而心=0对一切 
jr ^ z ). 随机地选取一个初始状态，对应于初始分布为 a ^ l / ip + l ). 

( C ) 反射壁. 上一个例子的有趣的变 化是： 链的可能状态改为^，…， 尽， 相应的 
转移概率矩阵为 


p 0 0 
q 0 p 0 
0 q 0 p 


p — 

« * 


0 0 0 — 

0 0 0 

0 0 0 


* • ■ 

0 0 0 

一 0 0 0 


0 


q 0 



P 



此链可以用博弈的语言来 解释： 两个赌徒进行博弈，每次赌注一元，而且约定当一 
个赌徒输掉他所有的赌本后，对手退回他一元，这样，博弈可以一直继续下去.假 
定两个赌徒共有 (0+1 元赌本，并说系统处于状态 E *， 如果此二赌徒分别拥有々元和 
p + 1 —々元本 金.其转移概率矩阵就是上面的用第 14. 1节中引进的术语来说，上 

面的链就是一个在点+和•具有反射壁的随机徘徊.具有弹性壁的随机徘徊可以 


用类似的方法处理_具有弹性壁的链的完整的分析，可在第^ 3 节找到 • [亦见例 


(7_3).] 

( d ) 循环随机徘徊.仍设可能状态为心巧，…，£；，但对它们循环标序，从而£；有 
邻域 Ed 如前，仍设此系统总是往右或左邻域运动.则矩阵 P 的第1行为(0, 
户， 0,0,…，0,9)，而最后一行为(/>，0,0,0,…， 0, g ，0)， 其余各行与例 （ b ) 中的一样. 
更一般地，可以允许在任何两个状态之间转移 * 令 ， …，％_ 1 分别是停止不 
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动或向右移动1，2,…， p — 1个单位的概率（此处，向右移动々个单位与向左移动 
p —々个单位是一样的).则 P 是循环 矩阵： 



: 

i 

Qi 

<12 •' 

" Qp ~2 



Qp-i 

Qo 

<h _ 

_• Qp -3 

Qp 2 

P 

2 

* 

Q P -1 

Qo • 

* ■ 

* 

" q" 

• # 

• 

Qp -3 

* 


4 

- < 7 i 

* 

<h 

* - 

% • 

• • 

• 

“ Qp—i 

* 

Qo 


对此链的完整分析，请参见第 16. 2节例 （ d ). 


( e ) 扩散的埃伦费斯特 （ Ehrenfest ) 模型. 我们再一次考虑具有 p +1 个状态 E 0 ， 
K ，…，尽且只可能向右或向左邻域转移的链，此时我们令 ，和 = \- j / P Rp】，H = 
’3 Ip ， 从而 

^ 0 1 0 0 — 0 0 " 

p 1 0 1 — p~ l 0 … 0 0 

0 2p~ l 0 l~2p~ l … 0 0 

P= … 

i » 4 * * • 



* • * 

0 ••- 0 p~ l 

0 … 1 0 _ 


此链具有两个有趣的物理解释.为了讨论统计力学中的各种循环问题，埃伦费 


斯特 1 2 考虑了一个想像的罐子实验， （0 个分子分布在两个容器 A 和 B 中.每一次试 
验，随机地选取 一 个分子由其原来所在的容器转到另一容器，系统的状态由 A 中的 
分子的个数来决定.假定在某一时刻恰有（个分子在容器 A 中，在下一次试验中， 
系统进入状态^^或巧^视分子由 A 中选出或 B 中选出而定，相应的概率为 k ! P 或 
{ p - k ) Ip , 因此，此链描述了埃伦费斯特的实验.然而，此链也可解释为在中心力作 
用下的扩散，即一个向右移动的概率随质点位置而变化的随机 徘徊. 当时，若 
><^/2,则质点向右移的可能性大，若7‘>^2,则质点向左移的可能性大，这意味 
着： 有一种与距离成正比增加的吸引弹性力.[埃伦费斯特模型在第5_ 2节例 （ c ) 中 
曾经讨论过，还可见第7节例 （ d ) 和习题 12.] 

(0 扩散的伯努利-拉普拉斯模型 2 . 对两个容器内的不可压缩的液体的流动 ，伯 
努列曾经 对埃伦费斯特 模型作过概率类比，现在假定有如个质点，其中有个白的 
也个黑的 • 由于假定了质点代表不可压缩的液体，所以其密度不变，从而每个罐 


1. 参见文献[93]、[94]、[95]、 [96]. 

2. 罐子模型这个问题，是伯努利于1769年提出的，1782年马尔费梯 （ Malfatti ) 评论过，1812年拉 
普拉斯分析过，参见 [97]. 
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子中的质点的个数保持为常数.如果第1个罐子中恰有々个白质点（这蕴涵了此罐中 
还有^ 一 々个黑 质点，而第2个罐子中恰有厂々个白质点， 々个 黑质点），则说系统处 
于状态 L 每一次试验从每一个罐子中各取一质点互换.于是转移概 率为： 


P 







Pn 


P 2 


( 2 , 1 ) 


而当 |j — 刳>1 (此处 j = 0, …， p ) 时心=0.[对于稳定的状态分布，见第7节例 
(e )， 对于模型的推广，见习题 10.1 


( g ) 随机地投球. 考虑一个独立试验序列，每次试验把一个球随机地放入给定的 
|0个盒（或者罐子）的一个盒中.如果恰有&个盒被占，则说系统处于状态&，这决 
定一个具有状态， …， 4的马尔可夫链，其转移概率如下： 


Pjj = ^ ^ Pjj+i ^ — ] 二， ( 2 , 2 ) 

P P 

当然，对 J 和》 的其他组合， 必有仏 =0. 如果开始时所有的盒子都是空的，则分布 
{A } 确定 如下： 《。= 1，〜= 0对一切々>0成立.[此链还要在第 16. 2节例 （ e ) 中作 
进一步的分析_随机投球曾用不同的观点在第 2. 5节和第 4. 2节中处理过 .] 

( h ) 细胞遗传学中的一个例子 1 .具有状态 E 。， …， E n 和转移概率 


j 2 j \/2 N -2 j \ l /2 N \ 
\k )\ N~k )/ \ N / 


(2.3) 



的马尔可夫链会出现在生物学的问题中，它可粗略地描述如下 • 某有机体中每一个 

，一些是 A 型的另一些是 B 型的.如果某细胞恰含7个 A 型的 

质点，则说此细胞处于状态下一代细胞由细胞分裂所产生，但是在分裂以前， 
细胞进行自我复制，而下一代细胞继承的 N 个质点随机地来自上一代细胞的 2 J /个 A 
型质点和 2 N — 2) 个 B 型质点 • 因此，下一代细胞处于 状态& 的概率服从超几何分 


布 （2,3 乂 

将在第8节例 （ b ) 中 证明： 在充分多代以后，所有的细胞都将处于 （并 一直停 

» ■ 

留在） “纯” 状态或 这两个偶然事件的概率分别为1一古和会，此处氏是初 


始状态. 

( i ) 总体遗传学 中的一 个例子 2 • 考虑 一个代代相传的总体（例如庄稼地里的植 
株），在每一代中都选取 iV 个植株，从而总体的大小 iV 保持为常数，一个特殊的基 
因取 A 与 a 两种形式从而有 2 iv 个代表，如果在第”代中 A 出现 i 次而 a 出现 2 N~j 
次，则说此总体处于状态尽 （0< X 2 N ). 假定交配是随机的，则下一代的成分由 
2 N 次伯努利试验所决定，其中 A 型基因出现的概率为 j /2 N . 因此我们得到一个具 


1. 参见文献 [98]. 此作者本质上用了第16章的方法，但并未注意到马尔可夫链 * 我们的叙述，在数 
学上是等价的，但在生物方面过分简单化了， 

2 , 费希尔与赖特 （ aWnght ) 曾用不同的方法讨论过这个问题，用马尔可夫方法来阐述此问题的是马 
兰考脱 （ G . Mai 6 cot ), 见 [99]. 





15_ 2 直观例子 289 


有下述转移概率的马尔可 夫链: 


P,k = 



(2.4) 


在状态 E 。 和 Em ， 所有基因都是同一种类型的，从此二状态不能转移（流出）到其 
他状态.（称它们为纯合子体的 .） 在第8节例 （ b ) 中将要 证明： 总体最终会固定到 
或 Em •中的一个（纯合子体的）状态.如果总体从初始 状态乓 出发，对应的概率 
为 l - j /(2 N ) 或 j /(2 N \ 

此模型可以修改以说明变异和基因的优选. 

( j ) 一 个繁殖问题. 在生物遗传控制实验中，对同胞兄妹进行交配.在他们的直 
接后代中再随机地选取两个异性个体进行交配.此过程如此无限地进行下去.当每 
一个父（或母）有三种遗传型 AA ， Aa ， aa 时，我们必须区分父母双方的下述六种组 
合 •• E ] = AAX AA , E 2 = AAX Aa , E 3 = AaX Aa ? E 4 = AaX aa , E 5 =aaX aa , E 6 = AAX 

aa . 应用第 5. 5 节中的法则，易见此时的转移概率矩 阵为： 


一 1 
丄 

T 

丄 

16 

0 



0 



0 0 0 
0 10 


0 0 ' 
0 0 


丄 

16 
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0 
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[在习题4中还将讨论，第 16. 4节例 （ b ) 中将给出完整的论述 •] 


( k ) 循环事件与剩余等待时间. 具有状态 E 。， 巧 ，…和转移概率矩阵 


P = 


y , 

1 

0 

0 

0 


fl fl /a 


0 0 0 
1 0 0 
0 10 
0 0 1 


争考 _ 


* « « • 

* * _ 

— « * * * — 

的链曾反复地用作例证，概率必除了其和为1以外可以任意 • 为了使过程更形象化， 

假定它从初始 状态^ 出发.如果第一步到达£；-!，那么系统接连经过 

于第々步才返回 E 。， 此时过程乂完全重新开始.因此，接连返回£：0构成一个循环时 


间具有分布 {/ d 的循环事件 S . 此系统在任一时刻所处的状态由下一次经过瓦的等 
待时间所决定 • 在循环事件的许多具体的实例中，下一次出现的等待时间依赖于将 


来的发展，所以，马尔可夫链没有操作意义 • 但是，当我们能够想像：每一次 S 的出 
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现，同时有一个其结果决定下一次等待时间的长度的随机实验时，链还是有意义的. 
这种情形虽然条件苛刻，但在实践中还是时有发生的.例如，在自我更新集合的理 


论中[第 13. 10节例 （ d )]， 某些时候假定某设备新装置的零件的寿命依赖于此零件 
的选取，但是一旦选定，寿命就被完全决定了.再如，在排队论或电话的中继线中， 
顾客的接连的离去常常构成循环事件.现在假定有许多类型的顾客，但每一类顾客 
要求服务的时间长度是已知的.两个接着离开的顾客之间的等待时间，完全决定于 


他们加入等待队列的时刻.[见第7节例 （ g ).] 

(1) 与循环事件相关联的另一个链. 再考虑一个具有状态£：(>，&，…和转移概率矩 

阵 

/>! 0 0 0 …一 

0 夕 2 Q 0 … 

0 0 p 2 0 … 

0 0 0 … 

• * # 

* * • _ 

* * _ 

* * * » 」 

的链，其中九+仏 =1. 为了形象的描述，我们把&解释为一个系统的 “ 年龄”.当 
一个系统到达6岁时，它以概率 九 +1 继续存活而以概率返老还童并从0岁开始新 
生活.接连通过状态£。也构成一个循环事件，而且循环时间等于々的概率由乘积 
九办…九 i 仏所给出.可以用此法取 A ， 以使指定的分布为循环时间的分布: 
只需令 9 l =/ l ， 则 92 = / z / A ， 等等， 一 般地取 



Pk = 


l~/l - fk 

1 —/l - fk 


(2,5) 


用这种方法，任何一个具有循环时间分布的循环事件 S ， 对应着一个由 a 5) 所 
决定的转移概率矩阵为 p 的马尔可夫链 • 系统在第《次试验处于状态玖的充分必要条 
件是： S 最后一次出现在第”一&试验（此处纟=0，1，2…），此状态经常称作“耗费的 


等待时间”.[在第5节例 （ b )、 第7节例 （ f ) 和第8节例 （ e ) 中还将继续讨论 .] 

( m ) 成功连贯. 作为上一个例子的特殊情形，考虑一个伯努利试验序列，约定: 
系统在第》次试验处于状态&的充分必要条件是最后•次失败出现在第《 次试验. 
此处々= 0，1，2,…，而且约定第0次试验总是失败.换句话说， 指标々 等于终止在第《 
次试验的不间断的成功区段的长度.其转移概率如上例，只不过对一切的 &都有 


pk — Qk = q ， 


15.3 高阶转移概率 

令 为恰巧经过 n 步由转移到的概率 * 换句话说’ 是初始状态为巧 
在第"步进入&的条件概率，这是从6开始而终于^的一切长为《的可能路径 
£：,£：/…仏；的概率的和 • 特别地，/^ >= 如，和 
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Pfk = 2 PruP ^ k ^ ( 3 , 1) 

V 

用归纳法， 可得一般的递归 公式： 

A ( f n = ， (3.2) 

Xf 

进一步，对 m 作归纳法，得到 基本恒 等式： 

pT n) = YjPt 、 Pi ， (3.3) 

(这是查普曼-科尔莫戈罗夫恒等式的特殊情形).它反映了一个简单的事实：最初 m 
步由圮转移到一个中间状态 而从^ 到&的子序列的概率不依赖到达£：„的方 

式 1 . 

如像把心排成矩阵一样， 我们把排成一个矩阵形式并用 P 记之 • 那么， 
(3.2) 的意 思是： i >” + i 的元素 yr ” 可以把 P 的第 j 行的元素乘以的第 * 列的对应 
的元素的乘积全部加起来而得.此运算称为矩阵 P 和 P " 的行到列的乘法，并用符号 
表示为如下列方 程式： P ^ l = PP \ 这提示我们称为 P 的”次方，方程式 （3.3) 
代表著名的规律 P m+n = P m P \ 

为了使 （3.3) 对一切都对，我们自然地要定义 如下： p%=\，pf =0 
(对一切）乒是). 

例 （ a ) 独立试验序列. 高阶转移概率的明显表达式通常很难算出，但是，幸而 
对它兴趣不大.作为一个重要的（或许不足道的）例外，我们注意独立试验序列这 
一特殊情况.当 P 的一切行都等于同一个概率分布时，就会出现这种 情况. 不需计 
算，立刻发现此时有 P n = P 对一切 n > l 成立. 

( b ) 成功连贯. 在第2节例 （ m ) 中，易见[或者从递归公式 （3.2) 出发，或者 

从过程的定义出 发]: 

qp k 当6 = 0，1，…, rt — 1 

Pt = P k 当 

0 其他情况. 

显然， P ” 收敛到一个矩阵，其第々列中的每个元素都是 

绝对概率 

再令七是初始（第0次）试验处于状态的概率.则第 n 步进入状态的 
(无条件）概率为 ， 

通常，我们令过程从固定的状态在出发/而是令〜=1，此时以直观上， 
我们感到初始状态的影响会逐渐消退，所以当《很大时，分布（ 3 . 4 )与初始分布 

1. 后面这一性质是将在第13节定义的马尔可夫过程的 特征. 长时间以来，都假定把 （3.3) 作为马尔 
可夫链的定义，但是，奇怪的是，它却不能作为马尔可夫链的定义[参见第13节例 (01 
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U , } 无关，当/^收敛到一个与 j 无关的极限时（如在最后—个例子中），即是 P " 收 
敛到一个行行都一样的矩阵时，就是这种情况.我们将看到往往如此，但不总是如 
此，由周期而引起的繁杂的例外我们也必须给岀. 

15.4 闭包与闭集 

如果存在某个 ^>0 使奶 f>o (即 是， 由尽 到达^的概率为正，其中包括 氏= 
的情况）， 则称乓 能到达 例如，在无限制的随机徘徊中， 每一 个状态能到达 
任何其他状态，但在有吸收壁的随机徘徊中，由吸收壁不能到达其他任何状态. 

定义设 C 是状态的一个集合.如果从 C 内的任何一个状态 £■, 不能到达 C 外的 
任何状态，则称 C 是闭的.包含 C 的最小闭集称为 C 的闭包. 

如果单个状态构成一个闭集，则称 瓦是吸 收的. 

称一个马尔可夫链是不可约的，如果除了一切状态构成的集合以外，没有任何 
其他的闭集. 

显然 C 为闭集的充分必要条 件是： 当）在 C 中而6在 C 外时总有/在这种 
情况下，由 （3.2) 可知： 对一切《 总有/ 因此显然有下面的 

定理如果在 P ” 中删去闭集 C 中的状态所对应的行和列，则剩下的还是一个随 
机矩阵，而且基本关系 （3. 2) 和 （3.3) 仍然成立. 

这意味着我们得到一个定义在 C 上的马尔可夫链，而且这 个子链可以不涉及一 
切其他状态而独立地研究. 

状态尺是吸收的当且仅当= 在此情况下，上述定理中的矩阵退化成一个 
单一的元素. 一 般地，显然，从一个给定的状态氏所能到达的状态的全体构成一个 
闭集.（因为£：,的闭包不能小于这些状态构成的集合.）一个不可约的链不能包含真 

闭子集，因此，有下面简单的但有用的准则. 

准则 一 个链是不可约的充分必要条 件是： 每一个状态都可以到达其他任何一 

个状态. 

例 U ) 为了找出所有闭集，只需知道九*中哪些为0哪些大于 0. 因此，我们用 


号代表正兀素，另 

^考虑下面的典型 矩阵： 
'0 0 0 *0 

0 

0 

0 

一 

* 


0 



0 

关 

0 

0 

0 

关 


0 

0 

0 

0 

0 
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0 

关 

0 


关 

0 

0 

0 
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0 

0 

0 

0 

P- 

0 

0 

0 

0 

* 

0 

0 

0 

0 
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* 

0 

0 

0 

0 

0 

0 

0 


0 

* 

0 

0 

0 

* 

* 

0 

0 


0 

0 

长 

0 

0 

0 

0 

0 

0 


_0 

0 

0 

关 

0 

0 

0 

0 
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我们把状态从1到9标号.在第5行，只在第5个位置出现 * 号，所以丸 5 = 1，从而 
E 5 是吸收状态.在第3行和第8行，各有一个*号，显然 K 3 和&构 成一个闭集. 
从 K 可以到达 E 4 和£ 9 ,而且从它们也仅仅能到达 E ^ E ^ E 9 , 所以此三个状 态巧， 
e 4 ， e 0 构成另外一个闭集. 

从拉出发，可以直接到达 E 2 ，E 3 ，拉， E 8 . 状态对 ( E 3 ，£： 8 ) 构成一个闭集，而艮 
是吸收状态，因此，£： 2 的闭包是由£： 2 ，£ 3 ，£ 5 ，瓦 8 所构成的集合.剩下的两个状态 E 6 
和£ 7 的闭包显然是由全部9个状态构成的 集合. 

把状态重新按下述方式进行编号： 

e 5 e 3 k 8 e 1 e 4 e 9 e 2 e 6 e 7 . 

则上述矩阵的面貌和闭集的决定，就要简单得多，闭集仅包含邻近的状态，而且一 
看新的矩阵，就能显示状态群. 

( b ) 在第2节例 （ j ) 的矩阵中，状态£：,和忍都是吸收状态，而且没有其他 
闭集. 

( c ) 在遗传学的第2节例 （ i ) 中，拉和 E 2； v 是吸收状态.当 < 7 <)< 2JV 时，马的 

闭包包含了所有状态.在第2节例 （ h ) 中，£。和都是吸收状态. ► 

考虑一个具有状态…，£；的链，其中，…，艮构成一个闭集 （”<>)• P 的 
左上角的 r 行 r 列构成一个矩阵，它是随机矩阵.这样，我们可以把 P 表示成下列分 

块矩阵的 形式： 


Q on 


■ 


U V 」 


(4, 1) 


右上角的 r 行 一 r 列的子矩阵的每一个元素都是0，类似地，是一个 p — r 行/•列的 
矩阵，而 v 是一个 方阵. 当闭集 c 和它的补集 c ' 包含无穷多个状态时，我们也可以 
用上述分块表示法，分块清楚地显示状态的群和下述事实：当氏在 c 中而 £* 在补 
集 C ' 中时， p Jk = Q . 由递归公式（3.2乂显然，高阶转移概率矩阵也有类似的分块表 


示法: 


P 


n 


Q n 

iu „ 


0 

v n . 


(4.2) 


现在，我们对左下角出现的矩阵虬暂不感 兴趣. 感兴趣的是（ 4 .2)显示出的三个 
明显的事实.第一，当 £> ec ， 时， P)t = 0 i 第二， a ” 表明 C 中的两个状态 
.和 Ka 的转移概率在利用递归公式 （3.2) 求和而得时，其参与求和的状态只限于 
匸内.最后， V ”的出现，表明上述论证以 C ' 代 C 时仍然 成立. 作为一个推论，分别 
考虑闭集 C 中的状态和其补集 C ' 中的状态，可能简化马尔可夫链的进一步的研究_ 
注意： 我们并未假定 (2 是不可约的.如果 C 能分解成几个闭子集，那么，0还 
可以进一步分块.有无穷多个闭子集的链是存在的. 

例 （ d ) 如前所提及的，平面上的随机徘徊是一个特殊的马尔可夫链，尽管用简 
单序列来给其状态标序在实用中不方便 • 现在我们把随机徘徊的运动规则修改一下， 
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当质点到达 X - 轴以后，它一直在: r - 轴上运动而永不离开，于是 X - 轴上的全部的点 
构成一个闭集.另一方面，如果我们约定质点一旦到达 X - 轴上某一点以后，就永远 
停留在这个击中的点上，则: r - 轴上的每一个点都是吸收状态. 卜 


15.5 状态的分类 


在一个从初始状态乓出发的过程中，接连返回乓构成一个循环事件，而接连到 
达其他任何一个状态瓦构成一个迟延的循环事件（如第 13. 5节所定义).因此，马 
尔可夫链理论只不过是同时研究多个循环事件而已.循环事件的一般理论不需修改 
即可应用，但是，为了避免过多地参考第13章，我们还是重述一些基本定义.因 
此，这一章本质上是自封的，是独立于第13章的，只是 （5. 8)' ■的困难的证明不再完 


全重复而已. 

马尔可夫链的状态将要从两种不同的观点独立地进行分类.把状态分成常返的 
和暂留的是基本分 类法； 然而涉及技术细节时，还把状态分成周期的和非周期的. 
讨厌的是，这些问题经常涉及一些不足道的事情，开始时，我们把注意力集中在没 
有周期状态的场合.这一节的所有定义只涉及转移概率矩阵而与初始分布无关 • 
定义1 称状态 A 具有周期 C >1， 如果当《关饥时 pfsO 而且£是具有此性质 
的最大 整数； 如果这样的 C >1 不存在，则称 E , 是非周期的 1 . 

研究周期状态氏，只需考虑链在第 i ，2 f ，3 r …次试验的情况就够了.用这种方法， 
我们得到了一个具有转移概率的新的马尔可夫链，在此新链中，尽是非周期的. 
用这种方法，非周期状态的结果可以转化到周期状态 中去. 第9节将要详细讨论， 
而（除了下面的例子以外）现在我们把注意力集中到非周期链 • 

例 （ a ) 在无限制的随机徘徊中，每个状态都具有周期 2. 在0和 (0 都具有吸收壁 
的随机徘徊中[第2节例 （ b )]， 内部的状态具有周期2,但是，吸收状态£：。和 
都是闭包，且为非周 期的. 如果两个壁中至少有一个是反射壁[第2节例 （ c )]， 所 

有状态都是非周期的. 

记号 在整个这一章中，代表过程从&出发第1次到达状态炅在第《步的 


概率.记 JL 

fjk = 2 /， （5. 1) 

n— 1 

灼= （5.2) 

71= I 

显然，/„是从出发，系统迟早要 经过瓦 的概率_所以当/= 1时， 
是一个完全的概率分布，且视之为初 达逞的 分布. 特别地， （/ if } 是 &的循 


1. 永不返回的状态均是存在的（例如对一切 《> o , P ( jf =0) 这种状态也称为非周 期的. 
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环时间的 分布.只有当 心=1 时，即是尽必然能返回，定义 （5.2) 才是有意义的. 
在这种情况下，〜是乓的平均循环时间. 

为了我们现在的目的，不要求对概率//进行实际计算，但是，为了形式上的清 
晰， 我们要指出如何决定(用标准的更新推理).如果&在第 r 次试验第1次出 
现(1<^-1),则£；在第《次试验出现的（条件）概率为淖回忆 = 1的 
约定，有： 

(5.3) 

U =1 

接连地令《 = 1，2,…，我们递归地得到 / K 反之，当/^对固定的(），幻和一 
切《都知道以后，则 （5.3) 决定了一切转移概率 

第一个问 题是： 对任一 状态玛 而言，是否必然返回到它 自己. 如果必然返回， 
更一步向平均循环时间内是有限或无穷.下面的定义使用的术语与第13章是一 
样的. 

定义2 若 心=1， 则称状态尽是常 返的； 若心 <1， 则称 £, 是暂留的. 

称常返状态是零状态，如果其平均循环时间 = 

此定义也可用到周期状态中去.把全部常返状态分成了零状态和非零状态.后 
者特别有趣，因为我们经常把焦点集中到非周期状态，对非周期的常返的非零状态， 
称作遍历状态是方便的 1 .这导出下列 

定义3称非周期的常返的状态 乓是遍 历的，如果灼 

下面的定理用转移概率的各种不同类型的条件来表述.虽然定理中的准则很 
难应用，但仍然非常重要.较好的准则可在第7节和第8节中找到，但遗憾地是，那 

里没有这里的简单且通用的准则 • 

定理 （ i ) 乓是暂留状态的充分必要条件是 

2 p)f < 00 • (5.4) 

n~0 

此时，对一切 i 均有 

E ^ ^.5) 

71=1 

( ii ) £，是（常返的）零状态的充分必要条件是 

oo 

S P、f = °°，但垃) 一 0( 当 ”一 °°)， （5. 6) 

Tt^O 

此时，对一切/均有 

1. 遗憾的是，这些术语并不是普遍地被接 受的. 在科尔莫戈罗夫的术语中，暂留状态 （Transient 
state ) 被称作 ‘‘非本质的 ’’ （ unessential )， 但是，这一章中，理论和实际的兴趣都集中在暂留状 
态. （近 代位势理论也支持这种观点 .） 遍历状态 (ergodic state ) 有时称作 “ 正状态 ” （positive 

state )， 而“遍历状态”有时又用作我们此处的“常返状态 ”* (在本书的第一版中，遗憾地是，把 
“常返的” 称作“循环的” （ recurrent ) 4 ) 
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p - f ~^0 (5.7) 

( iii ) 非周期（常返的）状态氏是遍历的充分必要条件是妁 < oo . 此时，当 
n co 时有 


pf — fijW 、 (5.8) 

系 如果馬 是非周期的，则趋于0或者趋于 （5.8) 式给出的极限. 

定理的证明 论断 （5.4) 含于第 13. 3节定理2中.论断 （5.5) 是 （5.4) 和 
(5.3) 的直接推论，同时它也含于第 13. 5节定理1中. 

对于一个非周期的常返状态 E ,， 第 13. 3节定理3断言此处当朽 =co 
时右方理解为 0. 论断 （5.7) 和 （5.8) 仍可由此结论和（ 5 .3)直接推出，或者从 
第 13. 5节定理1推出. 

令 E , 是常返的而且内=00.由第 13. 3节定理4,在此情况下， p)f —0 ,而此结 
论也蕴涵了 (5.7). ► 

例 （ b ) 考虑第2节例 （ D 中的链的状态 E 。. 转移概率矩阵的奇特形状 表明： 
第1次返回出现在第《次试验只有沿下列序列进行才有 可能： 

Eo 一仏一£ 2 ~^…一 Eh 一 E 0 ， 

因此，对《>1有 

從 = P\PZ … Pn -^ ln ， (5.9) 

而且在 A 如 （2.5) 所定义的特殊情况下， （5.9) 化为因此， 
当 E /„<1 时， K 。 是暂留的.对于一个常返的状态瓦)，芒。的平均循环时间 a 是分 
布 {/„} 的期望.最后，如果有周期大，则当"不是〖的倍数时，总有/„ = 0•简 
而言之，正如人们所期望的那样，如果 S 是与马尔可夫链相联系的循环事件，那么 

£。在 S 中的类型与在马尔可夫链中的类型是一样的. 

( c ) 在第4节例 （ a ) 中，一旦系统离开状态拉，就再也不可能返回到拉，所以 

£ 2 是暂留的，将此推理略为精细化，就可知^和尽都是暂留的.由定理 6. 4,易 
见所有其他状态都是遍历的. ► 

15. 6不可约链 • 分解 

为了简单起见，称两个状态是同一个类型的，如果上一节定义的所有特性它们 
都一样.换句话说，同一类型的两个状态或者具有相同的周期或者都是非周期；或 
者两个都是常返的或者两个都是暂留的；如果两个都是常返的，那么它们的平均循 
环时间或者都是有限的或者都是无穷大. 

我们分类的有用性，很大程度上依赖于下列事实：对于一切实际需要，经常可 
以把注意力集中到一类特殊的状态.下一个定理将要证明，对不可约链而言，这是 

严格成立的. 

定理彳 不可约链的所有状态都属于同一个类型. 
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证令乓和是不可约链的任意两个状态.根据第 4 节的准则，每一个状态都 
可以到达其他任一状态，所以存在整数 r 和 5 使/^ =«>0和成> =/?>0.显然 

P^^pYkP^Pkj =♦$. ( 6 . 1 ) 

此处 j，々，r，s 都是固定的而72是任意的.对暂留状态馬而言，左边是收敛级数中的 
—项，从而/也是收敛级数中的一项.此外，若扣则成 o. 当） 和々地位 
互换时，上述类似的论述也对.因此，或者玛和^两个都是暂留状态或者一个都 
不是.如果有一■个是零状态，另一'个也是. 

最后，假定玛具有周期当 ”=0时， （6.1) 右边是正的，因此 r +5 必为 t 的 
整数倍.但当《不是〖的整数倍时，左边为0,所以 瓦是周 期的，且其周期为 （的整 
数倍.把）和々的地位互换即 可见圮 和 £：* 具有相同的周期. ► 

与下述定理2联系起来，定理1的重要性就显而易见了. 

定理2对于一个常返状态 A 而言，总存在惟 一 ■个不可约的闭集 C 包含 £：) 且 
使 C 中每一对状态都有： 

/认= : 1且/ 61 二1. (6.2) 

换句话说，从 C 中的任何一个状态出发，系统必然要经过 C 中任何一个其他状 
态，由闭包的定义，从 C 流岀是不可能的. 

证 令& 是一个能由圮到达的状态.显然，在返回 E, 以前到达 &是可 能的， 

令此事件的概率为 a. — 旦到达&以后，再也不返 回氏的 概率是1 一 九 ， 因此，从 
E } 出发系统从未返回的概率 > a (l —八） • 但是对一个常返状态 g 而言，从不返 
回的概率是0,所以 f kj = l 对一切从马能到达的艮都成立. 

令 C 为一切 能从& 到达的 状态. 如果 E 和都在 C 中，我们已知瓦能到达 
E ” 因此， &也能 到达 E ,. 所以 C 中每一个状态都可以到达 C 中的任一个其他状 
态，从而用第4节的准则得知 C 是不可 约的. 由此推出 C 中所有状态都是常返的， 
从而每一个 状态瓦 都可以起到推理的第一部分中乓这一角色的作用.这意味着 
/ fc =l 对 C 中一切都成立，故 （6.2) 成立. ► 

前一个定理蕴涵了下述 结论： 每一个常返状态的闭包都是不可约的.但对暂留 

状态而言，此结论不一定正确. 

例假定对一切々<7 有/ ^ = 0，但/^ +1 >0，即是只能转移到较高的状态，所 
以任何一个状态都无返回的 可能. 每一个 A 都是暂留的，而且的闭包由£：,，乓 +1 ， 
巧 +2 ,…构成，它包含了除去 E , 后所得之闭子集.由此推出，不存在不可约集. ► 
上面的定理蕴涵了下述 命题： 从常返状态不能到达暂留状态.如果某链包含了 
两类状态，这意味着 P 表示成如（ 4 .1)的分块形式，其中 Q 对应着常返状态•不消 
说， Q 可能进一步分解，但是每一个常返状态属于惟 - 个不可约 子集，而在这些子 

集之间的转移是不可能的.我们扼要说明 如下： 

定理3 马尔可夫链的状态可用惟一的方式分化如下列不叠交集合：丁， C ” 



C 2 , 


_ _暑 
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(D 丁由全部暂留状态构成. 

( ii ) 如果氏 GC ；， 则对一切有/^=1，而对一切 £；^ C ；， 有 f , k =0. 
由此定理可以 推出： C ； 是不可约的而且只包含同一类型的状态.上面的例子说 
明可能一切状态都是暂留的，而第4节例 （ d ) 又证明了有无穷多个 C „ 也是可能的. 

我们把下面的定理作为定理2的一个简单的系而推出，但是也可以用其他的简 
单办法来证明（见习题18— 20). 

定理 4 对有限链而言，不存在零状态，而且所有状态都是暂留的情形也是不 
可能的. 

证 P 1 的每一行之和都是1，而当其元素个数是一个固定的数时，不可能对一 
切都有 0. 因此不可能所有的状态都是暂留的.若一个常返状态属于不可 
约集 C ， 则 C 中所有状态属于同一个类型.因此，由 C 包含了一个常返状态而且至 
少有一个非零状态 得知： 它不含零状态. ► 

15. 7 不变分布 

因为每一个常返状态属于一个不可约的集合，且其渐近性质可以独立地研究而 
不依赖其余的状态，所以我们集中研究不可约链.此种链的所有状态都是同一种类 
型的，我们从最简单的情形开始，即是，链具有有限的平均循环时 间；^ 为了避免 
一些不足道的事情，我们把周期链推迟到第9节讨论.换句话说，我们现在考虑的链 
都是遍历的（即是，其状态都是非周期的常返的而且具有有限的平均循环时间•见 
定义 5.3). 

定理 在一个不可约的其状态为遍历的链中，极限 

dim 成 (7.1) 

恒存在而且不依赖初始状态) ‘• 此外 

U m * = 1 (7. 2) 

且1 

tij == / t tiipij , (7. 3) 

i 

反之，假定链是不可约的非周期的，而且存在数列吣>0满足 （7.2) 和（7.3)，则 
所有状态都是遍历的， w 均由 （7,1) 所给出且 

u k — \/ fjtk (7. 4) 

其中 A 是仏 的平均循环时间. 

证 （ i ) 假定链是不可约的周期的，并定义叫如（7. 4 ).定理 6. 2保证对一切 i ，> 
有 义=1, 且论断 （7.1) 化为 （5,8). 因为 


1. 如果把想像为行向量， （7.3) 可写为矩阵形式《=«?. 
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f = YjPfP … (7.5) 

+ 

当 CXD 时，左边趋于叫，而右边的和中的一般项趋于仅取有限项我们得到 

Uk ^ ^/ Ujpjk - (7.6) 

+ 

对固定的/和《， (7.5) 左边加起来等于1，因此， 

5 = < 1 - (7.7) 

在 （7.6) 中对一切 々求 和得到关系式在此式中不等号是不可能成立的.由此 
断言： 对一切匕 (7.6) 式中的等号成立，从而定理的第一部分 成立. 

( ii ) 假定仏>0而且(7.2)_(7.3)成立.由归纳法 

u k = Dm , 夕 IT ). (7. 8) 

i 

对一切成立.因为链是不可约的，所有状态属于同一种类型.如果它们都是暂 
留状态或零状态，则（7_8)右边当？ z — oo 时趋于0，而此事实不可能为一切々都成 
立，因为 ⑷加起 来等于 1. 周期链是排除掉的，所以一切状态都是遍历的，从而定 
理的第一部分可以应用.因此，令 n — co 得 

< 7 . 9 ) 

i 

所以概率分布与概率分布 { a - 1 } 完全一样，故^=和 _1 得证. ► 

为了欣赏此定理的意义，考虑过程由初始分布 u ,.} 的发展进程.状态^在第《 
步出现的概率为 

- ( 7 . 10 ) 

} 

[见 （3.4)]. 因此，由 （7,1) 当 Z 2 —⑴时有 

(7.11) 

换句话说，不管初始分布如何， E * 的概率趋于另一方面，当是初始分布时 
(即〜=仏），贝 ! J (7.3) 蕴涵了 用归纳法可得 4")= 叫对一切 n 成立•因 

此，满足 （7.3) 的初始分布使之对一切时刻都成立.由于这个理由，故称之为不变 
的. 

定义满足 （7,3) 的概率分布{^}称为不变的或平稳的（对给定的马尔可夫链 
而言）. 

上一个定理的主要部分可复述 如下： 

一 个不可约的非周期的链产生一个不变的概率分布的充分必要条件 是：此 
链是遍历的.在此情况下，对一切々都有…>0，而且绝对概率 at 趋于…与初始分 
布无关. 

如果我们想像有很多个过程在同时进行，则平稳性的物理意义变得非常明显 • 
为确定起见，考虑 N 个质点独立地进行同一种类型的随机徘徊.在第”步，处于状 
态 &的质 点的个数的期望值是 Nat ，它趋于充分长的时间以后，分布是渐近 
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地不变的，物理学家就说，他观察到质点处于平衡态.因此，分布也称作平衡 
分布.不幸的是，此术语分散了对一类重要的情况的注意力，即所谓的宏观的平衡， 
也即大量反向转移维持的平衡.单个质点显示不出趋向平衡，而且我们的极限定理 
对单个过程也没有什么内涵.这方面的典型是第3章中讨论的对称的随机徘徊.如 
果大批的质点从原点出发独立地作这种随机徘徊，那么，粗略地说，在任一时刻有 
一半质点在原点的右边，而另一半在原点的左边.但是，这并不意味着大多数质点 
有一半时间在原点右边.相反，反正弦律证明，大多数质点在大部分时间里都处于 
原点的一个方向，从这种意义上讲，大量性并不代表 本质. 此例是一个极端情形， 
其平均循环时间是 co . 对于遍历链而言，随机起伏比较平和，但是，当平均循环时 
间具有很大的（或无穷的）方差时，从实用的0的看，它仍然显示出上述性质•许 
多进一步的讨论和对“趋于平衡”的统计意义的正确理解，可以避免一些错误的结 

论. 

在前面的定理中，我们假定了链是不可约的和非周期的，自然要问，在多大的 
程度上这些假设是本 质的. 仔细研究证明就会发现，我们证明的东西比定理中陈述 
的要多.特别是通过下面的准则可以应用到任意的链（包括周期的和可约的链）的 
事实可以看出上述结论正确. 

准则如果一个链具有不变概率分布丨又若&是暂留状态或零状态，则 

吣=0. 

换句话说，蕴涵了&是常返的且有有限的平均循环时间，但&可以是周 
期的. 

证我们已经 看到： {叫}的平稳性蕴涵了 （7.8) 式，如果^是暂留的或者是 

零状态，则对一切），有/^’—0,从而叫 = ()• 准则证毕. ► 

对于周期链，第9节中将要证明的预期的结 果是： 对每一个不可约的其状态具 
有有限的平均循坏时间的链，存在惟一一个不变的概率分布 {叫}.周期链之所以排 
除在定理之外，仅仅是因为简单的极限关系 （7.1) 和 (7.11) 采用了较为隐晦的形 

式，这种形式掩盖了实际上不需要它的作用的本质点. 

例 （ a ) 具有几个不可约成分的链可能有几个平 稳解. 一个平凡的但又典型的例 
子是具有两个吸收壁 E 。 和的随机徘徊[参见 15. 2节例 （ b )]. 任何一个在 E 。 和 
g 上有正的权数的形如 （ a ，0,0, …， 0，1— a ) 的概率分布都是平稳的. 

( b ) 给定一个由转移概率灼*构成的矩阵，经常能容易地决定不变分布 U *} 是否 

存在.一个明显的例 外是： 

p jk = 0 对一切 U — j|>l 成立， （7.12) 

即是说，非零元素只能在主对角及其紧邻的线上，把其状态从0开始标起， （7. 3) 确 
定的关系变为下列形式： 


Wo = pm P\o u \ 

Ml =/>oiMo+Al«] +^21 U Z , 


(7.13) 
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等等.为了避免不足道的事情，假定^#>0, ^”>0对一切成立，但对主对角 
线上的元素^不作任何假设.由 （7.13) 可以逐项解岀 Ml ，〜，•••.回忆一下， P 的 
每一行之和为1， 可得： 


U\ 


Po\ ^ Po\ Pl2 _ Poi P\1 Pl^ 

&岣，岣以 3 — 


(7. 14) 


等等.得到的（有限或无穷）序列 a ，…是 （7,13) 的惟一解.为了使它是一个 
概率分布，正则化因子％必须取得使2^ = 1，这种选取是可能的充分必要条 件为： 


V Po ' P '2 p 2，" pH，k <OQ? (7.15) 

因此，这是不变的概率分布存在的充分必要条件，如果它存在，必然惟 一 1 . 

在第8节例 （ d ) 中，我们将推出一个类似的准则以检验状态是否是常返的.下 
面三个例子说明上述准则的 应用. 

( c ) 反射壁.第2节例 （ c ) (其中 ^ oo ) 是前面一个例子的特殊情形，其特点是 
p 3 ' } “=p (对一切><0， p } ,"=q (对一切当状态的个数有限时，存在不变 
分布{^}，其中14是 （ p / gV 1 乘一个数.当状态的个数为无穷大时， (7.15) 的收敛 
性要求{<9，而且在这种情况下， — il — p / q ){ p / q ) k . 由随机徘徊的一般理论易 
见：当时，状态都是暂留的；而当 f = g 时，状态都是常返的零 状态. 这些结 
果也可从第8节例 （ d ) 中的准则推出. 

( d ) 埃伦费斯特的扩散模型.对在第2节例 （ e ) 中的矩阵来说，解 (7. 14) 化为 

Mi 二 (：) m 0 ，々 = 0,…， /0. (7.16) 

二项系数是 （1+1)〃 的二项展开式中的项，因此，为了得到一个概率分布，必须令 

链的周期是2，状态具有有限的平均循环时间，不变分布是具有的二 


项 分布. 

此结果可以作如下 解释： 不论第一个容器中的分子的初始数目是多少，经过一 
段相当长的时间以后，在第一个容器中找到 々个 分子的概率，近似地等于 a 个分子随 
机地分布时恰有々个分子放人了第一个容器中的概率（假定每个分子放人第一个容 

器中的概率为 +). 这是赋予我们的结果以物理意义的一个典型例子. 

当 a 很大时，二项分布的正态逼近 表明： 一旦极限分布渐近地建立，我们实际 
上一定能在每个容器中找到一半的 分子. 对物理学家来说 ， a = 10 6 是一个很小的数. 
即使当分子数目 a =10 6 时，在一个容器中找到多于505 000个分子（密度起伏为百 
分之 一 ） 的概率的数量级也只有10 _23 .当 a =10 8 时，千分之 一 的密度起伏，类似的 
概率也是同样的可忽略的 概率. 虽然系统也偶然到达可能性极小的状态，但它们的 


1. 原著此处后面方括号内有一句话，不对，删之. 


译者注 
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循环时间和接近平衡状态的循环时间比较起来要大得惊人.物理中的不可逆性，在 
下列事实中显现出来：当系统处于远离平衡的状态时，它向平衡态转移要比反向转 
移的可能性大得多. 

( e ) 伯努利-拉普拉斯扩散模型. 对具有形如 （2.1) 的元素的矩阵来说，由 


(7.14) 得: 



Hi) j k 0 ， * • • ， jO, 


(7.17) 


二项系数加起来为[见第2章（12.11)]，所以 



(7, 18) 


是一个不变分布.这是超几何分布（见第26节).这意味着在平衡状态时，每个容 
器内的颜色的分布与下列分布是一样的：从具有^个黑质点和 P 个白质点的集合中随 


机地取^个质点的颜色的分布. 

( f ) 在第2节例 （1) 中，不变概率分布满足下列关系： 

u k = z p k u k ^ 1 ，6 = 1，2,… （7. 19 a ) 


Wo = (?1 Wo + ?2 + 93 ^2 + * • *. 


(7. 19 b ) 


由 （7, 19 a ) 得： 

u k = p \“- p k u 0 , (7. 20) 

易见， （7.19 b ) 的右边的前々项之和为 mo — w. 因此，当叫 — 0 时， （7.19 b ) 自动满 
足，所以不变概率分布存在的充分必要条 件是： 


XI 户1 户2…九 (7. 21) 

k 

[也可见第8节例 （ e ) 和第11节例 （ c ).] 

( g ) 循环事件. 在第 2 节例 （ k ) 中，不变概率分布的条件 化为： 

Uk ~ Uk+i H - fk+i Wo » 6 = 0，1，…. (7. 22) 

对是=0，1，…求和得 

u n = r „ u 0 ,其中 r „ = /„ +1 +/„ +2 + …. （7.23) 

因为 ro + n + — 二 "是分布的期望.因此，当;《<°°时，不变概率分布由 〜 = 所 

给出；而当//=°°时，不变概率分布不存在 • 

再回忆一下，马尔可夫链是与具有循环时间分布 {/*} 的循环事件 S 相联系的. 

在特殊情况九 二^ / ri - i 下， 前一个例子中的链 与同一 个循环事件相联系，而且这时 
(7.20) 与 （7.23) 是等价的.因此， 不变分布是一 样的. 在排队论的语言中，人们 

说耗损的等待时间与剩余的等待时间趋于相同的分布，即 { }. 

我们曾经从循环事件理论推导出马尔可夫链的基本极限定理 * 现在’我们将要 
看到反面情况，即循环事件可以作为特殊的马尔可夫链来处理.[第11节例 （ d ).] 

( h ) 二重随机矩阵. 称随机矩阵是二重随机矩阵，如果不仅它每一行的和为1， 
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而且它每一列的和也是 1. 如果这样的链只含有有限个，譬如说 a 个状态，则 w = 
f 1 是一个不变分布.这意味着在宏观平衡中，所有状态出现的可能性都是一样的. 

15.8 暂留链 

在第6节中，我们曾经 看到： 任何马尔可夫链的常返状态都可以分解为一些不 
相交的闭的不可约的集合 CpQ ，….一 般地，还有一个非空的暂留状态类 T . 当系 
统从一个暂留状态出发时，可能出现两种 情况： 第一，系统最终进入闭集 C ； 并永远 
留在 其中； 第二，系统始终留在暂留集 T 中.我们主要的目的是决定相应的概率. 
其解将提供一个准则以判断一个状态是常返的呢还是暂留的. 

例 （ a ) 鞅.称一个链是鞅，如果对每个），概率分布 { p jk } 的期望都等于乃即 
是，如果 


^Pikk = j . (8_ 1) 

k 

考虑一个具有有限状态 E 。， …, E a 的链.在 （8.1) 中令 j _ = 0 和得/?。。=久 a = l ， 
所以£：。和 K 都是吸收状态.为了避免不足道的事情，假定链不再含有更多的闭集. 
由此推出，内状态^，…，瓦- i 都是暂留的，所以过程终会终止在 E 。 或瓦 •由 
(8.1)，对《作归纳法可知 

E P^ k = ^ (8.2) 

4 = 0 

但是对每个暂留状态&成立，从而 （8.2) 蕴 涵了： 对一切 O >0 有 

^ i / a . (8.3) 

换句话说，如果过 程从^ 出发，最终被吸收在 E 。 或瓦的概率分别为1 一 f / a 或 z ‘/ a . 

( b ) 特殊情形. 遗传学中的第2节例 （ h ) 和例 （ i ) 所涉及的链，分别是上面所 

讨论的例子的特殊 情况 ： a = N 和 a = 2 JV . 给定初始状态 E ,， 则最终固定在&的概 
率为 1 — i / a . 、 

( c ) 考虑一个具有状态 E 1 。，^ ，…的链，其中 E 。 是吸收状态，而从其他状态&出 
发，只能转移到右邻状态尽^和仏，而不能转移到其他任何状态.对令 

PjO ~ =1 — € j ' (8. 4) 

此处 6>0. 选定初始状 态氏， 在 W 次试验中不被 £ o 吸收的概 率为： 

(1 _ e ,)( l —€计1)… (1 — ej + H ). (8.5) 

此乘积 当”上 升时它下降，所以它趋于一个极限因此最终被吸收的概率为1 一 I ， 
而系统始终留在暂留状态的概率为 A ;. A ,>0 的充分必要条件是 I ： q < oo . ► 

暂留状态的研究依赖于 P 的下述子矩阵，删去 P 中对应于常返状态的一切行和 
一 切列，而仅仅剩下这样一些元素九*，其中乓和 E , 都是暂留状态‘此子矩阵的行 

和不 一 定是1，而它对引进下述定义是方便的. 

定义称具有元素％的方阵 Q 是准随机的，如果 qik > 0 且每一行之和都小于等于 1. 
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据此定义，每个随机矩阵都是准随机的，反之，每个准随机矩阵都可以添加一 
个吸收状态而扩大成随机矩阵，（换句话说，我们在顶端加一行1，0, 0, …， 再加 
一列，其元素是 (2 的相应的行的和与1的差额因此，显然，关于随机矩阵的论断 
可以不需本质性的修改就可应用到准随机矩阵中去.特别地，递归关系式 （3.2) 定 
义了 n 次方 Q ” 的元素满足下述关系 

( 8 . 6 ) 

v 

定义的第；行的和，则对一切有 

cT 1 〉 = E %#， C 8.7) 

V 

当我们对一切 w 定义义° )= 1时， （8.7) 对也成立.由6是准随机矩阵可推出 

再用 （8.7) 和归纳法可推出因此，对固定的〗，序列 ) 
单调下降到一个极限^>0,显然还有 

a t = Du (8. 8) 

V 

暂留状态的全部理论依赖于上述方程组的解.在某些情况下，它没有非零解 
(即是对一切；有在另一些情况下，存在着无穷多组线性无关的解，即是不 

同的数序列满足 

工,= (8.9) 

V 

第一个问题是找出特解 U }. 我们只对满足条件0<七<1 (对一 切纟） 的解 U ,} 感兴 
趣.这可重新写成下述形式归纳地比较 （8.9) 和 （8.7) 得： 

对一切〃成立，从而 

0 < X. < 1 蕴涵了 A < A < L (8* 10) 

称解 U } 为最大解，但必须 记住： 在许多情况下，一切 a = o . 我们把这些结果综述 
成下 面的： 

引理对准随机矩阵 Q 而言，线性方程组（8_ 9) 给出了 一组具有性质 （8.10) 

的最大解 U }. 这些①是(2"的行和的极限. 

现在，把 Q 视为户的这样一些元素构成的子矩阵：其中尽和都是常返状 
态.这样，线性方程组 （8.9) 可以写成 

Xi = Ei ^ T, ( 8 . 11 ) 

T 

其中的求和号是对一切使^为暂留状态的^来求和.在这种辨识下， at 是从初始 
状态出发在前《次试验中未转移到常返状态的概率.因此， 极限① 是由艮出发从 

未转移到常返状态的概率.所以，有 

定理1从出发，系统永远停留在暫留状态中的概率 A 是方程组 （ 8. 11) 的 
最大解. 

用同样的推理 可得： 



准则在一个具有状态£；，&，…的不可约的 1 马尔可夫链中，状态是常返状 
态的充分必要条件是线性方程组 


x, = Pw^v^ i ^ 1 ( 8 . 12 ) 

除了零解: r ,=0 (对一切 G 以外，满足条件0<毛.<1的解. 

证令2是引理中的把^"的对应于^的行和列都去掉而得的子矩阵.定理1中 
的推导表明 ， A (从初始状态£,出发）是系统永远留在状态&，£： 2 ，…中的概率.但 
是，如果 E 。 是常返状态，则到达 E 。 的概率尺=1，从而对一切纟有 ^ = 0. ► 

例 （ d ) 和第7节例 （ b ) —样，考虑一个具有状态，…的满足下列条件 
的链： 

p ik =0,当 I k-j |>1 时， （8.13) 

为了避免一些不足道的事情，假定 p 3 '厂'执 因为由任一状态可以到达其 
他任一状态，所以链是不可约的，从而所有状态都是同一种类型的，故只需检验 E 。 
这一个状态的性质就 够了. 方程组 (8.12) 化为下列递归方程组 

X ] = pnoc x + p \ tx t (8. 14) 

A , 厂 1 ( 工 J — A— 1 ) = pj.rhi (x ;+ i — > 2. 

因此， 



= 九 1^32… A , h 
PzsPm^-Pj^ 


L ( X ] — X 2 ). 


(8. 15) 


因为 Ao >0, 所以:^一々>0,从而存在有界非负解 UJ 的充分必要条件是 


V 如 … 心 - i<oo, ( 8 , 16 ) 

_ ^ Pz3".Pj ， j'\ 

链是常返的充分必要条件是上述级数发散. 在随机徘徊的特殊情况下，我们有 
=户， i =<7 对一切）>1成立，从而再一次看到：状态是常返的充分必要条件是户 
<(?. (此链可解释为直线上的随机徘徊，但其从一个位置转移到另一个位置的概率 
随位置而变化 .） 

( e ) 对第2节例 （1) 中的矩阵，方程组 (8. 12) 化为: 

— Pj + iij+i (8. 17) 

而且存在有界的正解的充分必要条 件为： 无穷乘积 A / V ••收敛.如果此链联系于一 
个循环事件 S ， 且九由 （2.5) 给出，则上述无穷乘积收敛的充分必要条 件是: 
E /,< co . 因此（正如期望的那样）链和 S 或者两者都是常返的，或者两者都是暂留的. 

为了回答本节提出的最后一个问题，再一次地令了为全体暂留状态所构成的集 
合，而 C 是任意一个由常返状态构成的闭集.（不要求 C 是不可约 •） 令 y t 是从初始 
状态艮 出发最终被吸收到 C 内的概率. 我们要证明 y 满足非齐次方程组： 


1. 不可约性的假设是为了避免符号的复杂，并不造成任何限制，因为只需考虑 G 的闭包即可.顺便 
指出： 准则对周期链也成立. 
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y G T , (8. 18) 

T C 

上述两个求和号分别是对满足£；6了和的 z ； 求和.方程组 (8.18) 可能有几 
组独立的解，但是，下面的证明将揭示在这些解中，存在一组类似于 (8.10) 所定 
义的最小的解. 

定理2最终被吸引到闭的常返状态集合 C 的概率: y , 是 （8.18) 的最小非负解 • 
证令3^是第 n 步以前（含第 n 步）被吸收到 C 的概率，则对一切显 

然有 

3 T 1 ) = SpW + Sh (8.19) 

T C 

如果令义《=0 (对一切 W ， 则 (8.19) 对》=0也 成立. 对固定的；，是非降的， 
且界于 1. 其极限显然满足 （8.18). 反之，若{乂}是 （8.18) 的任意一组非负解， 
由于 （8.18) 的第二个和等于乂 (1) ，所以乂 >3^. 用归纳法可证对一切《成 
立，从而3^的极限是一组最 小解. 

解释见例 （ c ). ► 


*15. 9周期链 

周期链不难处理，也不会提供一些想像不到的新特色.它们之所以被排除在第 
15. 7节的主要定理的表述之外，仅仅是因为对它们不太感兴趣，而且描述起来又颇 
费笔墨.这一节对它们的讨论，与其说对它们感兴趣，倒不如说是为了完整性.这 
一 节的结果以后也不会用到. 

最简单的具有周期为3的链的例 子是： 此链具有3个状态，而且仅仅对 
这样的转移才是可能的.这时有： 



^0 

1 0 、 


，0 

0 

r 


1 0 o' 

p = 

0 

0 1 

rP 2 = 

1 

0 

0 

rP 3 

0 10 


a 

0 d 


.0 

1 

o. 


.0 0 1, 


我们将证明这个例子在许多方面都具有典型意义. 

考虑一个不可约的具有有限或无穷多个状态巧，£： 2 ，…的链.由定理6, 1 知： 
所有状态都具有相同的周期 （ （假定 i > l ). 因为从不可约链的任何一状态可以到达 
任何一个其他的状态，所以对每一个状态 E *， 存在两个整数 a 和6,使得^#>0和 
pif >0. 但是从而 a +6 —定能被£ 整除. 固定卜我们 断言： 使得 
的每一个整数 a ， 都能表成 a +说 的形式，其中 a 是满足 0< o :< i 的固定的整 
数_整数 a 是状态&的特征，所以全部状态町以划分为〖个互不相交的类 G 。， …， 
使得： 

除了 W = Q ：+ W 以外，总有 

E k e G a ^p\f =0. (9.1) 
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如果我们想像 G ， …， Gh 循环排序，则 Gh 是 G 。 的左邻域. 

显然，通过一步，只能转移到其右边的与之相邻的类中一个状态，因此，一个 
^步构成的路径总是把一个状态转移到同一类的一个状态.此事实蕴 涵了： 对具有转 
移矩阵 P 的马尔可夫链来说，每一个都构成一个闭集 1 .此集合是不可约的，因 
为原始链的每一个状态能到其所在的类的任一状态所要求的步数必须能够被 Z 整除. 
因此，证明了 

定理对一个不可约的周期为？的链来说，其全部状态能分解成£个互不相交的 
满足 （9.1) 的类 G 。， …， G ^， 而且一步转移只能把一个状态转移到其右边的邻类中 
的一个状态（特别地，从 G ,- JUG q ), 对于具转移矩阵尸的链来说，每一个类&都 


对应着一个不可约的闭集. 

应用这个定理，很容易描述转移概率的渐近性质.我们知道，当&是暂留 
状态或常返的零状态时，而且全部状态都是同一类型的（见第6节)•因 
此，我们只需要考虑每个状态 &都有 有限的平均循环时间 a 的情形.关于具有转移 
矩阵 F 的链，具有平均循环时间化々，且相对于此链来说， G 是遍历的.因此， 


当£； 属于氏时有: 






t / j^k 

0 


当 E k 6 G a 
其他情况 


(9.2) 


对类的状态来说，权^^定义出一个概率分布（见第 7 节中的定 理). 因为有^个 
这样的类，与非周期链一样，数列仏=1/叫在整数上定义出一个概率分布.下面证 
明此分布是不变 分布. 为此目的，我们需要：当指数不能被周期（整除时， （9.2) 式 


对应的关系式， 

从下述基本关系式 开始: 


p)r^ = Yjpfp^ 


(9.3) 


除了 £；在6^以外（当时，把<^^视为0^~)，因子 A ?=0. 而当£；在 
中时，若£；不在中，必有/>以=0.所以，对固定的/?和 G a 中的状态 E ,， 


总有: 


71 —► QO 

现在 ，把 （9.3) 再写成 


，当 E k e G 柯 

0，其他情况 





(9.4) 

C 9. 5) 


0 A 0 ^ 

1. 当户 3 时，有三个类，若用第4节引进的矩阵分块表示法， P 有下列 形式： 0 0 B ， 

[c 0 0 , 


此处 A 表由 Go 到 Gi 的转移概率矩阵， 等等. 
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考虑任意一个状态 E ,， 且令 G 是含的那个类.除了 J ^ eGp 以外，总有 
所以当时， （9.5) 两边都等于 0. 在此情况 下有： 由此得 

u k = A, (9. 6) 

由于& 是任意一个状态，所以我们证明 f 概率分布 ud 是不变岛. 

15. 10在洗牌中的应用 

一副编号为1，2,…， N 的 N 张牌，能排成 iV ! 种不同的次序，每一种次序表示 

系统的一个状态，每次洗牌把现存的状态转移到某个其他状态.例如，“错牌”把次 
序（1，2,…， N ) 变成形如 （ r ， r + l ， …， / V ， l ，2， r _ l ) 的循环等价次序之一，而逆序 
经错牌后则变成 （ N — r + l ， iV — r ， …， A/，JV — l ，*”， N _ r +2). 换句话说，把洗牌看 
成是 转移： E 3 ^ E k . 如果同一种洗牌方式重新进行，则系统（从给定的状态 A 出 
发）依次经过一系列状态以后，在有限步后还原为原来的次序.从那时以后，同一 
系列接连的状态将周期地重复出现.对大多数洗牌方式来说，周期是相当小的，并 
不是所有的状态都能由这种程序所达到 1 _例如，一次精确的“插牌”把 2 w 张牌（1， 
…， 2 m ) 变成 （ l ， m + l ，2， w +2 ，…， m ，2 w ). 对于6张牌来说，4次精确的插牌就能恢 
复原来的 次序. 对于10张牌来说，6次精确的插牌就能恢复原来的 次序. 所以，对10 
张牌，重复地进行精确的 插牌. 仅能得到10! = 3 628 800种可能次序中的6种. 

实践中，玩牌者或许会希望改变洗牌方式，但无论如何，随机性总会导致偶然 
变化. 假定能够通过每种特殊的洗牌方式有特定的概率（可能为 0) 来说明玩牌人的 
习惯和随机性的影响 • 关于这些概率的数值无需作任何假定，但假定玩牌人洗牌时 
不考虑过去的情况，也不知道牌的次序 2 . 这意味着，接连的洗牌对应着一串具有固 
定概率的独立试验.因此，对一副牌，我们可以导出一个马尔可夫链. 

现在我们 证明： 转移概率矩阵 P 是一个二重随机矩阵[第7节例 （ h )]. 事实 
上，如果一次洗牌把状态马（牌的次序）变为状态&，则存在另一状态尺，由它可 
以变为 这意味着，除了次序不同以外， P 的第）列的元素们与第）行的元素们是 

一 样的，所以 P 的每一列的元素的和为 1. 

由此 推出： 不可能有暂留 状态. 如果链是不可约的和非周期的，则在极限情形， 

所有状态都是等可能的.换句话说，任何一种洗牌方式，只要它产生的链是不可约 
的和非周期的，都是可行的 • 可以假定通常情况如是.不过，若设牌共有偶数张， 
并约定洗牌的方 式是： 先把它们分成两组，再用任意方法分别地洗这两组牌’最后 
把这两组牌按它们的原来的次序并在 一起. 则得到的马尔可夫链是可约的.（因为， 


1. 用群论的语言来说，这相当于说置换群不是循环的，因而不能由一个简单运算产生. _ 

2. 这个假设对应于桥牌中的通常情况.容易设计出更复杂的洗牌方式，使毎次洗牌的方式依赖于以前 

的洗牌 方式. 在这种情况下，最后得到的不是马尔可夫链[参见第节例 （ e )]. 
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不是每一个状态都能由每一个其他状态到达 .） 如果两组的次序颠倒，则链有周期 2. 
因此，理论上，两种偶然情况都可能发生，但在实践中却难操作，因为随机性妨碍 
了完善的规则性. 

已经 看到： 可以期望连续不断的冼牌，会生成完全的“随机性”并消除原始次 
序的痕迹.然而，应当指出：为此所需的洗牌次数是极大的 1 . 

* 15. 11不变测度 • 比率极限定理 

在这一节中，我们将研究具有常返的零状态的不可约的链.主要的目标是 推出： 
类似于第 15. 7节中所得到的关于具有有限平均循环时间的链的结果.此类链的一个 
凸出的性质是存在不变（或平稳）概率 分布： 

u k = 2^ u v p vk . (11. 1) 

V 

我们知道，当平均循环时间是〜时，这种不变概率分布不存在，但是，我们将要证 
明，线性方程组 (11.2) 还是有满足2« 4 = ^的正的解{仏}.这样的 U *} 称 为不变 
(或 平稳）测度. 如果链是不可约的常返的，则除了任意-个£则化常数因子以外， 
不变测度是惟一的. 

例 U ) 假定转移概率矩阵 P 是二重随机的，即是，每一列之和也如每一行之和 
一样，都等于1,则 （ li . i ) 有解 仏=1 (对—切々) . 这个事实可表 述为： 一致 （均 
匀）测度是不变的. 

( b ) 随机徘徊.直线上的无限制的随机徘徊是一个有趣的特例.我们将其状态按 
其自然次序从一…到〜标号.这虽然妨害展示转移概率矩阵的标准形式，但是，改 
变一下符号就行.如果质点向右和向左邻域转移的概率分别为和则 （11.1) 化 

为下述 形式： 

Uk = pu^i + qu M , _ oo < 6 < co . 

只有当/其状态才是常返的，而这时 W = 1 是惟一的正的解，当/时， 

前述％ 还是 （11.1) 的解，只不过这时解不惟一而已，= 是它的第二组非 

负解.这个例子 说明： 对暂留链，不变测度也是存在的，只不过不一定惟一而已. 

在下一节中，我们还将回到这一有趣的问题 • 

不变测度 Uj 可作如下的直观 解释： 同时考虑无穷多个具有相同的转移概率矩阵 

P 的过程.对每个_；■，定义一个服从具有均值％的泊松分布的随机变量^^，并考虑 


1. 关于洗牌问题的有关实验记录中的一个极为初等的结果的分析，可参见文献 [100]. 在文献 [100] 
所在的杂志的第299〜319页中，格林伍德 (Greenwood) 和斯图尔特 ( Stuart ) 试图证明这些结果 

是由随机因素引起的.他们的数学和实验都有不同的超然的味道 • 

* 以下二节研究的主题在当代研究中很重要，但其结果，此书以后不会应用‘ 
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£； 为止. 对不可约链而言，从任何一个初始状态£；迟早要进入^的概率为 1. 由此 
推出，对一个具有禁忌 状态瓦 的链，接连地经过初始状态构成了一个暂留的循环 
事件，而经过任何其他事件瓦 乒艮 构成一个迟延的暂留的循环事件.因此， 当 E k # 
时，由第 13. 3节基本定理2 有： 

CO 

2 r P { ^ = r^jk <°° ( 11 . 6 ) 

n~0 

对&=£；， (11.6) 左边的加项当 n > l 时为0,从而和化为 1 或 0 由_;‘ =广或_/乒 r 
而定. 

现在我们该证明不变测度的存在性了，即是说，证明满足 (11.1) 的数心的存 
在性.这在定理2的证明中并不用到. 

定理1 如果链是不可约的而且是常返的，则数列 

U k = r TU (11.7) 

构成一个不变测度，此外，对一切々有 w *>0 且 w r = l . 

反之，若对一切6 有叫 >0而且满足（11.1)，则存在一个常数 A ， itu k =X - 
此处 仄是任 意的，但惟一性的论断蕴涵了对各种不同的 r 所得到的序列 {«,} 
只差一个常数倍. 注意： 此定理及其证明涵盖了具有有限的平均循环时间 的链. 

证如果 々关 r ， 我们对 _/ = r 用 （11.5). 对《=0，1，…求和得到 

rTCrfc ~ 2 rTtrvPik » ( 11 . 8 ) 

V 

所以，数列 (11.7) 至少对满足 (11. 1). 对于 = ^ = 显然 

V 

等于（原始链）在第〃+1步第1次返 回瓦的概率. 因为链是不可约而且是常返的， 
这些概率加起来等于1.把 （11.9) 对/2=0，1，…求和，得到 

^jTtrvPvr = I* (11. 10) 

V 

但是，由定义知从而 (11.8) 对々=^成立.因此 (11.7) 是一个不变测度. 

其次，考虑任意一个非负不变测度 { u k }. 由定义 (11.1) 显然 可知： 如果对某 
个々有1^=0，则对一切满足的 W 都有 ^=0. 用归纳法可证，对一切能到达 
瓦的都有〜 =0. 当链是不可约链时，这蕴涵了对一切^都有〜 = 0. 因此，不 
变测度是严格正的（或者恒为 0). 

因此对于定理的逆部分，可以假设给定的不变测度满足正则化条件^ = 1，其中 
r 是事先规定的.所以 

U k = Pkr 4- Yj U ) Pjk - (11. 11) 

假定々乒我们把求和号中的按定义的 么系式 （11.1) 表示，并再一次在二重求 
和号中将含有 ^ 的项分离开来，这样就得 到了： 

= Pr k +rP ( rf + VPT. (11.12) 


312 


马尔可夫链 


按此方式继续施行，易知对任何 n 有 


U k = +A 2 ) + … +rrf + 2 心 vrf. (11_ 13) 

令; 7— ⑺可得 — 由此推出：{仏 一 定义了一个不变测度，它在时为 
0. 但是，这种测度恒为0,所以 (11.7) 成立. ► 

我们马上要看到，下面的定理比比率极限定理更有用 • 

定理2 对不可约的常返的链而言，对一切 N 有： 



(11.14) 

(1 L 15) 


= Tjfmr 、 ( ii . i 6) 

t=i 

[这与 （5.3) 是一样的 •] 对 n 求 和得： 

S A") < E 此 ) • S A) = S 成)， ai.i7) 

rj = 0 tj = 0 1 7} = 0 ^ 

这就证明了 （11.14) 的第 1 个不等式. 

注意： 从£；出发， 返回& 有两种 方式： 一种是返回 &前从 未经过另一种 
是第 u 步 （ l « n ) 第1经过£:。.因此 

+ S (11， 18) 

X^ = 1 

对 n 求和即得 （11.14) 的第2个不等式. 

再证 (11.15). 由于 i 和 j 的地位对称， 故只需 证明第2个不 等式. 我们从下面 

等式 开始： 

+ I ] Pt v) *>Pf (11. 19) 

v= 1 

此等式 表示： 从 E ,. 返回 E ,， 或者中间不经 过玛； 或者最后一次进人 氏岀 现在第 
^ 一 ^ 步而其后的 ^ 步是由^到瓦< 且中间不经过心.对”求和并应用 （11_ M ) 得： 

2 +J^i S + 2 p^jf - (11. 20) 

TJ —0 W=0 71 = 0 

把此不等式置于 （1 L 15) 的对称形式，只需证明 


■ 丌 ，‘ = . (11.21) 

j^jj 

则定理得证 • 事实上，用类似于 （11.16) 的表示 可得： 

( 11 . 22 ) 

其中 7 /;,是从出发中间未返回圮而到 达艮的 概率.此事件的逆事 件是： 返回乓 
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发生在 到达& 以前，所以 


jfjr = 1 — ( 11 ， 23 ) 

界 JJ 

(最后这个方程是下述暂留循环事件的基本恒等式，此循环事件由 返回乓 但中间不 
经过£：,而构成 .） 把 （11.23) 代入 (11.22) 即得（11.21)，这就完成了定理的 

证明. ► 

关系式 (11.21) 可推出一个有趣的 
系1如果 {&} 是一个不变测度，则 

虹 =&• (11.24) 

U J 

证因为不变测度差一个常数倍是惟一决定的，所以 （11.24) 右边的数是惟一 
决定的.因此，当禁忌状态£；= 氏时， 可以假设{叫}是由 （11.7) 所定义的不变 
测度 • 但是《, = 1 且,〜 =仏，故由 （11.21) 可推出 (11. 24). ► 

系 2 (比率极限定理）对任何不可约的且常返的链来说，比率极限定理 
(11.2) 成立. 

证 当 N — ⑺时，定理2的和都趋于 oo . 因此， （11.14) 中的两个和之比趋于 
1，所以为证 (11.2), 只需对《=^和0=7•的特殊情况来证明就够了.然而，这样特 
殊取 a 和0， (11.2) 可以立即从 （11. 15) 和 (11.24) 而得到. ► 

常返链的不变测度的存在性，最早是由 德曼在 1954年证明的.而 （11.2) 中的 
极限的存在性是由杜勃林在1938年论证 了的. 禁忌概率，作为马尔可夫链理论的一 
个有力的工具，是由钟 开莱在 1953年引进 来的. 进一步的详细的讨论，可参见他的 

重要的专著 [101] 的第一部分 1 • 部分和 f (/4 n) _ Pt ) 的有界性是 奥来依 

77 = 0 

( SOrey ) 证明的，他还研究了收敛性问题，参见 [102], 

* 15 . 12 逆链•边界 

在研究系统的发展趋势时，我们通常只对可能的未来事件的概率感兴趣，但是， 
研究过去偶尔也是必要.对马尔可夫链来说，在一些特殊情况下，我们可以向：给 
定现在的状态是巧，在过去某一时刻系统处于状态瓦的（条件）概率是多少？ 
首先考虑一个具有严格正的不变概率分布{叫}的链， 即 是假定叫>0且 
=1，此处 

u k = XI (12. 1) 

[记住：由第 15 J 节中的定理知，不可约链的不变概率分布自然是严格正的 •] 


1. 该专著的第二版还包含了边界 理论. （但此书的符号与 [101] 中所使用的符号不尽相同 .） 
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如果过程以 {&} 作初始分布出发，则在任一时刻系统处于状态瓦的概率都是 
Wl , 给定这一事件，《个时间单位以前系统曾经处于状态的条件概率 等于： 

( 12 . 2 ) 

u t 

对 n = l ， 有 

mPjL m ( 12 . 3 ) 

u t 

由 (12. D 易见， 如是 一个随机矩阵 a 的元 素. 此外，概率是”方的元素 
(换句话说，用由 〜 算出/^/的同样的方法，可以由％算出 if ). 现在， 把原来的马 
尔可夫链的过去的研究，化为以％为转移概率的新的马尔可夫链的 研究. 当然，新 
链以不变概率分布{^}作为绝对概率分布.称概率如为逆概率（相对于原来的 
链），此程序把一个链变为另一个叫 作逆时 的链.在％ 的特殊情形下，称此链是 

可逆的， 对此类链，其概率关系关于时间是对称的. 

我们知道，对一个不可约链而言，只有当其一切状态都具有有限的平均循环时 
间时，才存在不变概率分布.如果所有的状态都是常返的零状态，则除了一个常数 
倍以外，存在惟——个不变测度.对于一个暂留链， 一 切情况都是可 能的： 某些链 
没有不变测度；另一些有无穷 多个. [第11节例 （ b ) 和例 （ c ).] 在这些情况下，值 
得注意的是，当 是一个严格正的不变测度时， 变换 (12.3) 定义出一个随机矩 
阵 S 的方幂由 (12. 2) 所给出.在这种意义上， 每一个严格正的不变测度定义出 
一个逆马尔可夫链. 遗憾的是，新的转移概率 ％， 不能直接解释为原来的过程的条 

件概率 1 . 

考察一下 （12.3), 立刻发现 U , 丨也是逆链的不变 测度. 此外，由 （12. 2) 易 
见，下列两个级数和，或者都收敛，或者都发散.由此 推出： 此二链 

的状态属于同一种类型， 只要 一 个链是暂留的或常返的，则另 一 个链也一样。 

例 （ a ) 对应于埃 伦费斯特模型 [第2节例 （ e )] 的不变概率分布由 （7. 16) 给 
岀.简单计算 表明： 埃伦费斯特模型在％ = A , 意义下 是可逆的. 

( b ) 在第11节例 ( b ) 中，我们找出了对应于直线上的随机徘徊（它向右或向左邻 

域转移的概率分别为 P 或 <?) 的不变测度.如果我们对一切整数々都取〜 =1 ，则％ 
= p , t ， 从而得到一个新的随机徘徊，其中 p 和 g 所处的地位与在原随机徘徊的地位 

互换. 另一方面，逆链与原链的不变测度都是〜二以“八 

( c ) 在第2节例 （ k ) 和例 （1) 中，关于循环事件6,引进了两个马尔可夫链•对 
于常返的具有有限的平均循环时间^的 6 ，我们在第7节例 （ g ) 中 发现： 此二链具 
有由 （7.23) 给出的相同的不变概率分布.当时，这些关系式给出了此二链 
的公共不变 测度. [见第11节例 （ c ) 和例 （ d )] 简单计算表明： 此二链可以由时间反 


1. 为了给出％—个可行的解释，需要考虑无穷多个同时进行的过程，如第11节例 ( b ) 所指出的那样 • 
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向而从一个得到另一个. 这并不令人惊奇，第2节例 （ k ) 中的链是关于 S 在下一次 
出现所需的等待时间，而第2节例 （1) 中的链则参考从最后一次出现开始的时间的 
流逝. ► 

现在考虑两个具有不变测度 Ud 的不可约的暂留的链.方程组 （12.1) 定义的 

不变测度可能还有其他的解.惟一性的问题与附加线性方程组 1 

6 = C 12.4) 


的惟一性问题有紧密的联系，此方程组在第8节中扮演了重要角色.此方程组有不 
足道的解 6 = c (对一切 0. 任何非负解自然是严格正的（确实如是，如果6 = 0蕴涵 
了满足条件仏>0的一切 u 都有夂 =0. 此事实又可 推出； 满足/4 2) >0的一切 t ; 都有 
乞 =0. —般地，只要能到达 £ v ， 都有匕 =0. 由于链是不可约的，所以对一切 
都有 ^ = 0.) 如果{在}是一组非常数解，则由 (12.3) 易证 

(12. 5) 

定义出逆向矩阵0的一个不变测度.反之，若是这样一个测度，则 （12.5) 决 
定了 （12.4) 的一个正的解 • 换句话说， (12.4) 的正的解与具有矩阵 0 的逆链 1 的 

不变测度之间存在一个 一一 对应 • 

在近代马尔可夫链理论和位势理论中，正的解 {6} 和定义为 边界. 如何 
描述它们的问题，已超出了本书所讨论的范围，但是，下面的例子可能给出一些关 

于流出边界会产生什么问题的 想法. 

例 U ) 考虑无穷直线上的满足下列条件的随机 徘徊： 当质点处于位置 ） 关0时， 
它以概率 p 向远离原点的方向移动一步，而以概率 g 向靠近原点的方向移动一步 • 
当质点处于原点时，它移至+ 1或一1的概率 相等. 假定 P 〉9- 

相应的马尔可夫链的状态空间的标号从一 00 至 0 °，且方程组 (12.4) 变为下列 


形式: 


色 = 戌 — 1 + 破 rl ^ > 0, 
氐=+芒1 + y ^-1 
6 = + h < 0 .' 


( 12 . 6 ) 


1. 若6代表由&组成的列向量，则方程组 （12.4) 对应矩阵方程方程组 （12.1) 为对应 u = 
up , 其中 W 为行向量- 

2. 对于不可约的常返的链而言，其不变测测差一个常数倍惟一，由于具有矩阵 P 或2的链是同一种 

类型的，所以，我们证明了： ' 

定理对于不可约的常返的链而言， (12,4) 的惟一的非负解为6 =常数 • 

几乎逐字逐句地重复定理11_1的后半部分的证明，也可证明此定理.确实如是，用归纳法可 

证： 对任何 h r 和《，有 

色 = [yv) + …+ 

V 

对于常返的链来说，括号内的表示式趋于1，而级数趋于 1. 所以， n 定理证毕. 
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令 


9 = 1 —+( 爹），当’>0;分 = |(爹），当成 0 • (12.7) 

易见6 =卩,和 6 = 1 — %定义岀方程组 （12.6) 的两组非平凡解 1 .由此推出，链是暂 
留的，从而质点的位置必须趋于+〜或 一〜. 

此结论也可以从随机徘徊理论直接得到.事实上，从第 14. 2节 可知： 当质点从 
0>0出发时，迟早要到达原点的概率等于 ( g / pV . 由对称性 可知： 质点从原点出发漂 

移至 + oo 或一 oo 的概率与上述概率一样，从而最终漂移至 一 ⑺的概率为^ "( g / f ) 1 . 由 


此 断言： ％是质 点从 〆 出发最终漂移至+ ^的概 率； 1 — 分是质点从纟出发最终漂移 
至 一 CO 的概率.在近代理论中，这些情况，将用引进“流出边界点” +00 和一 CO 来 


描述. 

( b ) 上一个例子由于它过于简单，容易使人迷惑而不得要领，因此，构造 一个其 
边界由无穷多个点构成的例子可 能是有用的.为此，考虑一个在 X ，3；平面上的随机 
徘徊 如下： 其 X 坐标作通常的随机徘徊， 一 步移动+1 或一 1的概率分别为/>和 
q < p . 除了 i 坐标是 O 以外， J 坐标保持固定，而当 X 坐标为0时，： V 坐标下降 1. 
更精确地说，当•乒0时，只有两种可能的 转移： （ j ， H —+ 和 ( j 4) —(j — l ， 
是）， 它们的概率分别为 P 和 9< A 而从(0，々）出发，以概率/>转移到 1); 以概 


率 q 转移到 （ 一 1 jk 一 1). 

由随机徘徊理论得知， x 坐标一定趋于 + CO , 而且（具有概率 1) 它仅仅有限次 
经过 0. 由此推出（除了一个零概率事件以外） J 坐标只改变有限多次.这意味着5 
坐标改变有限多次以后，质点将固定在某条直线上.在此意义上，有无穷多条 
“ 逃逸到 oo 的路线”，而且对每一个初始位置 ( j ， k 、， 可以算出 2 质点最终要在直线 
J = r 安家的概率私 1易见，对于每一个固定的"， < g ： l 是方程组 (12.4) 的一组解， 
而且通解是这些特解的线性组合.此外，特解#〖具有下述直观的明显的“边界条 


件” 的 特征： 当^⑺时，0;而当々= ㈤ 时，郎一 1_ 


在下述意义下，这些例子是典 型的， 给定一个不可约的暂留的马尔可夫链，总 


1, 通解是 $ 其中 A 和 B 是仟意常数 • 确实，这些常数可以取得使之能给出在和所规定 

的值，显然，由 02.6) 还知： &和？的值惟一地决定了一切？的值. 

2 . 饮^的更精确的表示式，可以由第 14. 2节中关于一维随机徘徊的结果得到.对丁初始位置恰 
巧户次触及原点的概率为 (2 g >— Kp — g ); 而当时，对应的概率为 ( g //^( 2 gV _1 (夕一9乂从未 
触及原点的概率为0或 1 — 由；< 0 或泛 0 而定.由此容易推出，对 〖 <0有 


而当/>0时有 



= (2q) k ^ r ^Hp — q) 

k>r; 


— (q/p) 1 (p~^ q) 

k>r 


l-(q/py. 



当然，当 々< r 时 ，郎 = 0 . C 原著在此处把郎误写成了挪 • 译者注) 
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是可以定义一个如下的 “ 边界” ： 系统的状态概率为1地趋于边界上的某一点.给定 
边界上的某一子集 r ， 我们可 以问： 从状态/出发，系统收敛到 r 中的一个点的概率 
是多少？我们把 { t ?,} 视为被 r 吸收的概率. 由此，这些吸收概率总是线性方程组 

(12.4) 的解； 反之， (12.4) 的所有有界解都是吸收概率的线性组合，此外，若给定 

(12.4) 的边界值 如下： 在 r 上取边界值1，在边界与 r 之差集上取边界值0,则吸 
收概率就是 (12.4) 的惟一解.现在，我们可以构造一个具有元素 

hk = P 汰也 ( 12 , 8 ) 

的新随机矩阵氟这是在给定条件“状态最终要趋于 r 上的一个点”下，系统从 E 
转移到的条件概率.具有矩阵的马尔可夫链，可以由原链在条件“最终要被吸 
收到 r ” 下而得到.因为将来的发展趋势在行进中是不知道的，这种条件初看是没有 
意义的.它仍然是一个强有力的分析工具，甚至对那些已经进行了一段长时间的过 
程，它还有实际操作意义. 

边界也可以对逆向矩阵 G 来 定义. 因此， 一 般地，对应于一个给定的链，有两 
个不同的 边界. 它们分别称为流出边界和流入边界 • 粗略地说，前者参考遥远的将 
来，而后者参考遥远的过去. 

逆时马尔可夫链，首先是由科尔莫戈罗夫考虑的（见 D 03]). 在此书的前两版中，曾强 
调过 （12.4) 的解的重 要性. 流出和流人边界是由费勒提出的（见[10 4 ]).当只有有限个边 
界点时，他的构造是令人满意的，但一般地，由马丁 （ RS . Martin ) 引进的调和函数的构造 
易于为人们接受，这是 由杜布 （ J . Doob ) 指出的（见 [105]). 相对关系式 (12,8) 是 由费勒 
引进的（见[104])， 同时，布雷劳特 （ M . Bi : elot ) 在经典的调和函数论中定义了类似的算子 
(见 [105]). 

15.13 一般的马尔可夫过程 

在应用中，通常用随机变量的术语来描述马尔可夫链更为方便.这可按下列简 
单手法施行：把上一节的记号用整数々替换_于是系统在 时刻〃 的状态是一个随 
机变量 x ㈤ ， 它取々的概率是 atx ( n — °的联合分布为 P { x {n) = j ， x oi+i) = k } = 
O ; ，而 ( x < D ) ，…， ) 的联合分布由 （ i . i ) 所给出.有时也可能赋予&以数值6 

而不是 L 用这些记号，马尔可夫链变成为一个特殊的随机过程 1 ，换句话说，一个 
(相依的）随机变量序列 1 2 ⑴， …). 上标 n 表示时间.在第 I 7 章中，我们将获 

得： 允许时间参数连续变化的一般随机过程的粗略 印象. 马尔可夫过程具有广泛的 
应用而且是一类重要的随机过程（不管是离散的或连续的时间参数 )• 甚至在离散的 


1. “随机过程” (stochastic process * random process ) 实质上涵盖了全部概率论’从扔硬币到调和分析. 

在实际中，术语“随机过程”用得最多的是引进了时间参数以后. 

2. 这种表述，要参考一个无穷乘积空间，但实际上，我们只关心有限个随机变量的联合分布， 
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场合，也还有许多比我们以往研究过的简单的链更一般的马尔可夫过程.因此，给 
出马尔可夫性的 定义； 指出刻画马尔可夫链的特殊 条件； 最后给出几个非马尔可夫 


过程的例子，所有这些都是有用的和必要的. 

在概念上，马尔可夫过程是经典力学过程的概率模型，力学过程中将来的发展 
完全决定于现在的状态，而与现在的状态是怎样由过去而发展来的 无关. 这些过程 
与有后效的过程（或遗传过程）有本质差异.如可塑性理论中产生的过程就是有后 
效的，系统的整个过去的历史都影响将来 • 在随机过程中，将来的情况木是惟一决 
定的，但至少有概率关系使我们作出预测.对于本章所研究的马尔可夫链而言，有 
关将来的概率关系显然仅依赖于现在的状态，而与现在的状态是怎样从过去变来的 
无关.换句话说，如果两个独立的系统转移到相同的状态具有相同的转移概率，那 
么与它们将来的发展相关的所有概率都是恒等的 • 上述描述较为含糊，下面给出精 
确定义. 

定义 称一列取离散值的随机变量是一个马尔可夫过程，如果任意整数叫<?1 2 

， x °°) 的联合分布由下述方式来 定义： 在假设 
=々，…，下，事件的条件概率恒 等于： 在假设 X ⑷下，事件 
X <n) —X 的条件概率.此处 A ，…， JT r 是使假设具有正概率的任意数 • 

此定义可用较简洁的语言表述 如下： 给定现在的状态 A ， 则系统过去的状态的 
任何附加的数据，都不会改变系统在将来处于状态1的（条件）概率- 

本章以前研究过的马尔可夫链显然都是马尔可夫过程，但它们都具有附加的性 
质： 转移概率 /^ I X ( m ) = j } 不依赖于 m ， 更一 般的转移概率 

p ] l m) ：= P { X in) = k I X ( m) = j } ( m < n ) (13. 1) 

仅依赖于 in — m ). 这种转移概率称为 平稳的 （或 时齐的）. 对一般的整数值的马尔 
可夫链， (13. 1) 右边依赖于 m 和《，我们用 P # ( m ，《) 表之，从而/^ 《+1) 

定义了一步转移概率（1.1)，现在得到了路径 （)。， ^，…， 人） 的概率的下述表 

示式： 

4 0) P )Bh ( 0，1 ) ( 1，2 ) …户乂（打一1，《). (13.2) 

显然， （3.3) 的适当的推广是下列等式 

p jk ( m $ n ) 二 二 ir , n ) (13.3) 

v 

此式对一切满足 mO <« 的 r 成立. 此等式可以从马尔可夫过程的定义推出，也可 
以从 （13,2) 推岀，称它为查普曼-科尔莫戈罗夫方 程式. [转移概率 A ( w ，《) 对 
离散的非马尔可夫过程也可定义，不过对它们而言， （13.3) 中的因子久* (n w ) 必 

需代之以一个不仅依赖^和*而且也 依赖） 的因子 .] 

这一章研究的马尔可夫链，是一般的时齐的离散的马尔可夫 过程. 我们不详细 
讨论非时齐的马尔可夫过程.下面的例子对了解马尔可夫性和说明查 普曼 - 科尔莫戈 

罗夫方程式不成立时的情况是有益的. 
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非马尔可夫过程的例子 

( a ) 波利 I 罐子模型 [第 5. 2 节例 （ c )]. 令等于 1 或0由第《次抽出的球是 

黑球或红球而定.序列 } 不是马 尔可夫过程.例如 

P { X <3> — 1 | X (2) = 1} = ib c) / (,br + c.) , 

但是 

F { X (3) = 1 I X (2) = 1, X (1) = 1} = (6+2 c )/(^+ r +2 c ). 

(参见第 5 章习题 i 9 一 2 o .) 另一方面，如果 y ( n ) 是时刻《罐中的黑球的个数，则 

{ Y 0,) } 是具有常数转移概率的通常的马尔可 夫链. 

( b ) 高 阶和， 令，…是相互独立的随机变量列， S„=Yo + … + Y „. 差 s „- 
S m (当 m < r f 时）仅依赖于 Id ，…， Y „， 从而易见：序列 { S „} 是一个马尔可夫过 

程.现在我们进一步定义一个新的随机变量 如下： 

U „ = S 0 +SiH - \~ S „ 

= Y „-\-2 Y„-i +3 Y n - 2 十… + (”+1)1. 

序列 { U t ! } 构成一个随机过程，原则上，其概率关系能够由 A 的分布来表示.过程 

{ LU —般不是马尔可夫型的，因为，例如，没有理由断言与 
F { U „-0| U „._ 1 = a , U „- 2 =6}-#. 根据 : 与 U „- 2 的知识来预报比仅根据的知 

识来预报要好一些. 

在时间参数连续的场合，前面的求和可用积分来代替.在扩散理论中， 叉起着 
加速度的作用，而乂则为速度， U „ 是位置. 如果仅仅是位置可以测量，则我们只好 
研究一个非马尔可夫过程，虽然它间接地用一个马尔可夫过程来定义 • 

( c ) 滑动平均. 再次令 { U 为相互独立的随机变量序列. 〃阶滑 动平均定义为 
X ⑼= 0^+1^+… + Y „ + r _ 1 )/ r . 易见： X u ) 不是马尔可夫过程.此类过程在许多应 

用问题中都会遇到（参见习题 25). 

( d ) 交通问题. 为了得到 一个非 马尔可夫过程的经验例子.弗恩 D ° 7] ( R . Furth ) 对 
街上某一段的行人进行了广泛的观察.此过程的理想化的数学模型可用下述方法得- 
为简单起见，假定所有的行人以同一速度^前进，并且只考虑沿同一方向行进的行 
人.我们把轴分成具有固定长度 d 的一些区间 A ，，…，并且规则地每隔 

个时间单位就观察一次行人分配的情况.定义 I 是初始时刻在 A 中的行人的个数. 
在第《次观察时，这批行人将在 hi 中被发现，而区间 A 中 将包含个行人.因 
此，在区间 0< x < AW 内的行人的总数为 X U )= Y „〜 1 + … + Y „+ n . 所以，我们得到的 
过程实质上是一个滑动平均过程.随机变量 K 的最简单的模型是伯努利试验. 在 d 
—0 的极限情况下，这导出一个连续模型，在此模型中，泊松分布取代二项分布， 

( e ) 马尔可夫过程的迭加（合成洗牌). 有很多专门设备（如电话局里的选择器 
群，计数器，过滤器）中，其行为可用两个马尔可夫过程的迭加而其输出又不是马 
尔可夫过程来描述.从下面的洗牌的方法的研究，可以得到这类设备的功能的一个 

清晰的认识. 
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对一副有 JV 张的牌，再附加一副同样的牌.洗牌时，通常只对附加的这副进行. 
如果它的各张牌的次序是 Ui ，〜，•••，〜），则把原来那副牌按下列次序 排列： 把第 1 ， 
第 2 ,…，第 iV 张牌分别调到第化，第七， …,第如个 位置.于是洗附加的那副牌就 
间接地决定了原来那副牌的次序.后 者构成了一个非马尔可夫型的随机 过程. 为了 
证明这一点，只需 证明： 原来那副牌的两次接连的次序的知识能提供的线索，比最 
后一次提供的线索一般要多 • 我们对一个简单的特例来证明这一论断. 

设 iV =4, 并设附加的那副牌的初始次序是 (2431). 此外，采取“错牌”的方 
式来洗牌，即次序 （ a 〗 ，“ 2 ，<^ 3 ， a 4 ) 变成 （ a 〗 ， a 〗 ， a * ， < 2i ) ， （“ 3 ，山， a 〗 ， a ) ’ （ CZ4 ’ a 〗 ，, a 〗） 

中的某一个，而且假定岀现这三种中任一种的概率都是在这些约定下，在任何 

时刻，附加的那副牌的次序总是(2431)，（4312)，（3124)， （1243) 这四种次序之一•另 
一 方面，简单的实验 表明： 原来那副牌将逐步经历全部24种可能的次序，而且其中 
每一种可能都结合附加的那副牌的四种可能次序之一而出现.这意味着 •• 原来那副 
牌将无穷多次地出现次序（1234)，而在它之后，总是出现（2431)，（4312)，（3124)， 
(1243) 这四种次序之一.因为，附加的那副牌绝不能在错牌中保持原次序不变，故 
原来那副牌不可能接连两次碰到同一种排列.如果在时刻(«- 1 )和《，原来那副牌 
的次序分别为 （1234) 和（1243)，则在时刻《 + 1，状态 (1234) 是绝对不可能的. 
由此可见，接连两次观察比一次观察所传递的信息要多. 

( f ) 一个满足查普曼-科尔莫戈罗夫方 程式的非马尔 吋 夫过程_ 在匕 到仏的转移不依赖 
到达的方式的假设下，我们曾经推出过等式 （3.3). 因此，开始直觉以为似乎没有非马尔 
可夫过程满足此等式 • 下面的事实似乎支持这一 猜想： 这种过程的》步转移概率必须满足一 
大群精细的等式_仍然可能有例外存在（至少在理论上).事实上，在第 9 . 1节中，我们曾经 

遇到过两两独立的而且同分布的以概率■分别取值1，2, 3的随机变量 序列. 因此，我们得 
到了一个可能状态是1，2, 3的具有办=+ (对一切_;•和々的组合）的过程.因此等式 

(3.3) 显然成立（因为但此过程仍然是非马尔可夫过程 • 为了证明这一点，假定 

第1步把系统转移到状态 2. 下一步转移到 3 是可能的充分必要条件为：初始状态为 1. 因此， 
第1步转移以后的转移不仅依赖现在的状态而且也依赖于初始状态（对于各种修正，参见第 
9.1 节的脚注). 


15. 14习 题 

1. 在一个伯努利试验序列中，如果第 w _ 1和第《次试验的结果是 SS ， 则说在时刻《观察到 
状态 类似地，£： 2 ，£： 3 ，£： 4 分别代表8?，？5，？& 求出矩阵 P 和 P 的一切方幂‘把此方 

案一'般化. 

2 . 将下列四个链的状态加以分类，它们的矩阵 P 的各行分别给出如下，对每一种情况，都 
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求 P 2 及成> 的渐近式. 

( a ) (0 士），(+，0，+)，( +，+，0); 

( b ) (0,0,0，1)，(0,0,0，1),(+，+，0,0)，(0,0，1，0); 

( c ) + 士’0’0) ’ （。’。’0，+’士)， 

( 0，0，0，; 

( d ) (。，~^~，+，0,0,0)，（0,0,0，+，+，士）’(0,0’0，+,+，+ )’(1’0,0,0,0,0)，(1，0,0’0,0, 


0)，（1，0,0,0,0,0). 

3. 掷一颗均匀的骰子，如果 j 是前”次掷出的最大点数，则说系统在时刻”处于状态 E ,， 
试求矩阵俨并验证（3. 3) 成立. 

4. 在第2节例 ( j ) 中，试 求出： 系统从 G 出发，分别在£^和£ 5 结束的（吸收）概率办和 
>(々= 2,3,4,6).(直接从基本定义来解此问题而无需参考第8章 .） 

5 . 利用马尔可夫链来处理第 1.5 节例 （ b ). 计算每个赌徒获胜的概率 • 

6. 令 E 。 是吸收状态（即办。=1)_对 j >0， 令如=户， p ),)- 1 求出恰在第打步 


被吸收的概率/兒，并求出此分布的 期望. 

7. 设矩阵 P 的第1行为灿，奶，….对 i >0, 如上一个问题一样，令九和/^ -求 


出 E () 的循环时间的分布. 

8. 对）= 0,1，…，令 pj 、 j +2 = Vj 和九。 =1 — %，讨论状态的性质* 

9. 两个反射壁_设一个链具有状态1，2,…，^，且其转移概率矩阵 P 的第1行和最后一行分别 
为 （ g ， p ，0, …， 0) 和（0,…， 0， g ，/ O * 在其余的行中有/^ +i = 户，/求平稳分布 * 

此链能是周期的吗？ 

10. 推广伯努利-拉普拉斯扩散模型[第2节例 （ f )]， 假定有个黑质点和 w = — 6个白 
质点.每个容器内的质点的个数为常数户 

11 . 一个具有状态£：。，&，…的链，其转移概率为 


Pa 


、— A 


2 (+W 


0 


k- 


ik — v ) ! * 


当^>々时，和号中相应的项理解为 o . 试证 


Pjf 



* 


注.此链在统计力学 [1 ° 8] 中出现并可解释如下：系统的状态由空间中某个区域中的质点数 
来 确定. 在每个单位长的时间间隔中，每个质点离开该区域的概率为 t 而且各质点是随 
机独立的_此外，新质点可以进入该区域，而且有 r 个新质点进人该区域的概率由泊松 
表达式 e - A * A 7 H _ 给出 • 于是，其平稳分布是具有参数为 A / g 的泊松分布 • 

12 * 埃伦费斯特模型.在第2节例 （ e ) 中，设初始时第一个容器内有 i 个分子_如果在第” 
步系统处于状态 I 则令 X u > =2 々一 a (所以 X u ) 是两个容器中的分子个数之差)，令^ = 
E ( X M ). 试证 G + i = ( a -2) eja , 因而 e n = (1-2/ a )" (2 ji ). (注 意： 当 w—oo 
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时， ()•) 

13. 把第 13.1 节例 （ g ) 中的计数器问题作为马尔可夫链来处理. 

14. 具有反射壁的平面随机徘徊.考虑平面上的有界区域中的对称的随机徘徊.边界按下述 
意义设置反 射壁： 每当质点在无限制的随机徘徊中离开该区域时，它被强制地回到最后 
的位置. 试证： 如果区域中的每一个点都能由区域中的每一个其他的点所到达，则存在 
平稳分布叫 = l / a ， 此处 a 是该区域中的位置的个数 • （如果区域是无界的，而状态都是 
常返的零状态，则 叫=1 是一个不变测度 .） 

15. 重复平均•设 ，心 ，… } 为一有界数列， P 是一个遍历链的转移概率矩阵. 试证： 

2对)工，一 ， 

¥证明第 13. 10节例 （ C ) 的重复平均程序是一个特例. 

16. 在等待队列理论中，遇到链 矩阵： 



pi 

P 2 


A 

pi 

P 2 


0 

Po 

Pi 

P 2 

_0 

0 

po 

Pi 


此处 {A} 是一个概率分布_利用母函数来讨论状态的 性质. 如果平稳分布存在的话， 
试求其母函数. 

17. 吸收的等待时间.对于暂留状态巧，令I为系统第1次进人常返状态的时刻.假定永远 
停留在暂留状态的概率为 0. 证明式 =£00) 是下列线性方 程组： 

dj ~^ P v I 1 

T 

的惟一解，其中和是对所有的使£；为暂留状态的那些 z； 来求的，然而式不必有限_ 

18. 如果状态的个数 a<°°， 而且从6能到达则用小于等于 a — 1步能到达 

19. 设链包含 a 个状态且&是常返的. 试证： 存在一个数9<1， 使得： 当《>“时， E； 的循 
环时间超过《的概率小于 V. (提 示：应 用习题18_) 

20 . 在有限链中，为暂留状态的充分必要条件是： 存在&， 使 E； 能到达 E,， 而仏 不能到 

达尽.（对无穷链来说，此事实不成立，在随机徘徊已经证明 .） 

21. 有一个对角线上的元素九>0的不可约链不可能是周期的_ 

22. 有限的不可约链是非周期链的充分必要条 件是： 存在"，使/^ >0对一切和々都成立- 

23. 在具有 a 个状态的链中，设 (Xl ^ m *^ X a ) 是线性方程组々= 2 的一组解.证明： 

(a) 如果对一切 j 都有々<1，则使： c r = l 的一切状态构成一个闭集； （b ) 如果和^ 
属于同一个不可约集，则 ( c) 对有限的不可约链而言， { jo ； ) 化为一个常数 • 

提示： 考虑方程组在一个闭集上的限制. 

24. (续 上题) .如果 (xi ? > J ： 0 ) 是 U /? 〆〆 卜 | = 1， 且 1) 的一组（复值）解，则 
存在整数^>1，使 9 = 1. 如果链是不可约的，则满足上述条件的最小整数是此链的 
周期. 


1. 原著此处等成四行无穷列矩阵，应为无穷行无穷列矩阵* —译者注 
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提示： 不失普遍性可设^ = 1> | xJ . 逐次考虑1步、2步，……到达的状态集合， 

25. 滑动平均 .令 { Y ,} 是一列相互独立的随机变量，每个均取值+ 1 或一 1，相应的概率都 

是 令= ( Y n + Y n+1 ) 11 . 试求出转移概率 

p ]k ( m f n )= P { X w = k \ X ( m ) = j }, 

其中 = — l ，0, 1. 证明 } 不是马尔可夫过程且 ( 13- 3) 不成立 • 

26. 在一串伯努利试验中，如果第 n—l 次和第 n 次试验结果均为成功，则说观察到了状态 
E 1? 否则说系统处于 E 2 . 试求〃步转移概率，并讨论它的非马尔可夫性. 

注-此过程可以由习题1中的链通过将三个状态合并为一个状态来获得.这种合并程序 
可以应用于任何马尔可夫链，而使其马尔可夫性遭到破坏，在哈里斯的论文中研究过 
这类过程- 

27. 马尔可夫链的混合 • 给定两个状态的个数相同的马尔可夫链，它们 的转移概率矩阵分别 
为巧和由一个初始分布和 n 步转移概率矩阵定义出一个新过程.试讨 

论新过程的非马尔可夫性及其与第 5. 2节的罐子模型之间的关系. 

28. 令/ V 为具有期望为 A 的泊松随机变量.考虑 iV 个相互独立的从£。开始的具有相同的转 

移概率矩阵 P 的马尔可夫过程.令是第77步以后系统处于状态&的次数.证明 

具有期望为 A • 的泊松分布. 

提示： 应用第 12*1 节例 （ b ) 的结果 • 

29. 应用上一个问题，证明第11节例 a ) 中的随机变量 Xf 具有期望为 = u k 的泊 

j 

松分布. 






第 16 章有限马尔可夫链的代数处理 


在本章中，我们讨论具有有限个状态及给定的转移概率的马尔可 
夫链.主要目的是推出 n 步转移概率/>#的显式表达式.除了第3节中的记号和概念 
以外，并不需要上一章中其他的结果， 

我们将利用母函数方法，再由第 11. 4节中的部分分式展开来得到我们所要求的 
结果.我们的结果也能直接由矩阵的典型的分解理论来得到（反之，由我们的结果 
也能推出矩阵论中的相应结果).此外，对于有限链，第15章中所证明的遍历性质， 
亦可由本章的结果推出.然而，为简单起见，对普遍性稍加限制，而不考虑那些使 
一般理论复杂化而在实际中出现不多的场合. 

在第1节，概述一般方法；例子则在第2、第3两节中 给出； 第4节着重讨论暂留状 
态和吸收概率；而在第5节中，则将所得之理论用于找出状态£；的循环时间的方差. 

16. 1 一 般理论 

对固定的 ） 和々，引进母函数 1 

pjk ⑴= pYk s n * (i*i) 

71=0 

把上式两边乘以再对_/ = 1，…， P 求和得 

5^] p tj Pj k ( s )= P lk ( s ) — . (1.2) 

这意味着，固 定&和 满足下列线性方 程组： 

P 

Zi — s p i jZ j =b i . (1.3) 

显然， （1.3) 的解 5 是 s 的有理函数，且它们具有公共的分母 DG)， 其中 ZXs) 是该 
线性方程组的行列式.为了与线性代数的标准符号一致，令^二厂 1 .则是一 
个 (0 阶多项式（称之为转移概率构成的矩阵 P 的特征多项式).称其根 A ，… ，心为 
矩阵 JP 的 特征根 （或特征值). 

现在 我们引 进简化 假设： 特征根 A ，… ，心 都是单根（不同的），而且 2 不等于 0. 
这对一般性略有限制，但是，其理论仍可涵盖实际中的绝大部分情形. 

* 本章处理特殊的主题，可略去. 

L 回忆 一下： 紐)等于0或1由或々而定. （/>#) 理解为 Kronecker 符号_ ) 

2. I关0的假设将立即放弃.第4节例 （b) 中讨论了具有重根的链的数值问题. 
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对应用此关系式 （ A 是1和 p 之间的任一整数).当於>按 （1.5) 表示时 ，有： 

, = t n x c a) X ?' 34” ： ri A )+M + ，；： c。):^)^] yi p ) xl X) . (1. 13) 

i = 1 方 =1 

这是一个形如 （1.6) 的等式，它只有当全部系数为 0 时才能 成立. 把两边的^的系 
数作成等式最终得到 1 : 


c ⑺公 y[ k) x ( k r) =l. (1.14) 

此关系式决定了 （1.11) 中的系数松\由于和 W A) 都是差一个常数因子而惟一 
决定，但是以 Arf 代 x ) A ) ， 以 Ayf 代使 P 变成 P / AB ， 系数飧>仍然不变. 

现在，把上述结果综述如下.两个线性方程组 （1.9) 和 (1. 10) 最多对 p 个不 
同的 i 值（对两个方程组来说是一样的）有非平凡解.我们假定恰有个这样的值 

而且它们都不等于 0. 对每个选取 （1.9) 的一组非零解（¥'••_，:$>) 
和 （1.10) 的一组非零解 （ V A )， …， 3^)). c ( A ) 由 (1. 14) 来定.于是，对 n =0， l ，...， 有 

P^k = S (1.15) 

因此，我们得到了所有转移概率的精4表示式 2 . 

除了对可分解的链以外，在大多数实际问题中，特征根均不相等的假设是满足 
的，即使对可分解的链，也只需作一点小改动即可（见第4节).然而，0在特征根 
中的情况并不少见，在这种情况下，我们取 L = 由线性方程组 （1.3) 的行列式 
0(5) 仅有1个根彳\…，^，从而母函数^ G ) 是两个 p — l 阶多项式之比，可以 
推岀新的结果.部分分式展开要求分子的阶小于分母的阶，为此，必须首先从 P #( s ) 
中减去一个适当的常数.用这种方法，我们得到了 的一个不同于 （1.4) 的部 

分分式展开，在此展开式中，要用一个常数代 f (1.4) 中的最后一项.观察一下 
(1.15) 立即发现，此程序只有当77 = 0时才影“右边.换句话说，对《>1，甚至当 
t p =Q (根…，匕都不是 0) 时，的精确表示式 （1.15) 仍成立. 

只有当<1对一切 A 都成立时， (1.15) 的左边才是有界的.对 Z = l ， 方程 
组 （1.9) 有解: r , = l ， 从而有一个特征根等于 1. 不失普遍性可令 ^ = 1. 如果链是 
非周期的，对所有其他的根都有 I ~ I <1，从而由 （1.15) 可知，当 n — … 时： 

成 (1. 16) 

换句话说，不变概率分布由 (1. 10) (取£=1)的一组解所刻画. 


1. 其他系数为 0 意味着 A 关 V 时， =0. 

^ — 1 

2. 如用矩阵形式，最后的公式 (1* 15) 会变得更漂亮，令 X ( A ) 表示具有元素的列向量（即 joXl 阶 
矩阵）， F ⑴ 表示具有元素 yF 的行向量（即 lX p 阶矩阵).则 （1.15) 化为 

pn= & c CA) X a) Y (A) « 

A = 1 

其中由标量方程式来决定. 



16. 2 例 子 


( a ) 首先考虑一个只有两个状态的链.转移概率矩阵具有下列简单 形式： 

叫 V A) 

其中， 0< fi < l ， 且0<^<1.因方程组只包含两个方程式，所以计算量很小，是不 
足道的.特征根是 ： A 的精确表达式（1， 15) 可用矩阵写成下 

述 形式： 



(此处四个元素的公共分数已经作为分数提到矩阵外面来了） • 此公式对一切 n >0 都 


成立. 

( b ) 令 

~o 0 0 r 

0 0 0 1 

P = 1 1 (2. 1) 

“ 0 0 

Lo 0 1 oJ 

[这是第 15. 14节习题2中的 （ b ) 的矩 阵]. 方程组 （1.9) 化为 


Xi = tXi , X 4 = tJC 2 f -y ( Xi + X 2 )=^3 » J：3 = tx A , (2.2) 

对 i =0， 对应的解为 （1，一 1,0,0)，但是，对01时，你> 的精确表 7 K 式并不要求特征根 
为 0. 标准的消去变量法 表明： 其他的特征根满足三次方程式？ =1. 如果我们简记 


O—e^^ =cos —Tr+i sin 


(2.3) 


(此处 f = —1)， 则三个特征根分别为 & =1，和（这与是一样 
的).现在，我们要对这些 〖值 来解方程组 （1.9) 和 （1.10). 因为可乘任意常数， 
故我们可令 =3^=1. 所以，它们的解分别是下面三个精确表示出来了的矩阵的 


第一列和第 一行: 





26 

W 

2 

U 



1 2夕 

1 ie 
6 2 
& 26 



(2,4) 


因为我们删去了特征根 f = 0, 所以此公式仅对 成立. 

由 （2.4) 易见此链具有周期 3. 为了 看清厂 的渐近性质，注意1+沒+少==0.用 

此关系易见，当《沿着”二3々趋于 oo 时，广的行趋于 （ "^~，"^， 0 , 0 ).对和 
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n =3 A +2， 对应的极限为（0,0,0，1)和（0,0，1，0).由此推出不变概率分布为 （+, 




■ 


( c ) 令 且 


0 

q 

0 


P 0 q~ 

0 p 0 

Q ^ P 


(2.5) 


1_P 0 g 0 」 

此链是下一个例子的特殊情况，由于其简单性，故单独处理.易见方程组 （1.9) 化 

为含两个未知数心+心和々+々的两个线性方程式，因此，四个特征 根为： 

/!=1, i 2 = — 1 ， t 2 = i(q—p) ， h = — iiq—p). (2, 6) 

对应的解为（1，1，1，1)，（一1，1，一1，1)，•，一 l ， z +， l ) 和 G ，一 1， 一 f ，1). [下面 
将要指出，它们都形如 ( dUen ， 其中0是1的一个四次根 .] 方程组 （1.10) 
与 （1.9) 不同之处仅在于 々和 g 互换了位置，因此，无须进一步的计算 即得： 


pYk = j U 十卜 ” } {1+( — 1 严厂 ” (2.7) 

( d ) 在第 15.2 节例 （ d ) 中的一般 的循环随机徘徊中， 矩阵 P 的第1行为 
而其他诸行由循环排列可得.对 p =4 的特殊情形，在上一个例子中已经 
证明： • rf 和3^都可表为1的四次根的方幂.因此，自然地想尝试把类似的程序用 
之于1的 p 次根，即 

d=e 2i " /p . ( 2 . 8 ) 

1的全部 p 次 根为： UQ ， m 对 r = l ， …，令 

t r = ^ (2. 9) 

xj =0 

容易验证，对 t =1 t r ， 方程组 （ 1.9) 和 (1.10) 分别具有解 

x ; r )= 沪， y \ r 、 (2.10) 

而且在任何情况下，对应的系数' >=1/^0. 因此，最后得 1 : 

pYk = p~ l £ f W (2.11) 

r=l 


1. 对《=0, (2.11) 只有当一切 r r 都非零才有定义.实际上，我们已经证明了，当所有的根~都不相 
同的情况下， （2.11) 对成立，但是在现在的情况下，它不一定成立 * 例如，若少对一 
切是成立，则 r 0 = l ， 但 = 心— 1=0, 甚至在这种极端的情形下， （2.11) 仍然成立，因为右边 
对一切），6和仍有确切的数.幸好，不难对〃作归纳法来验证（2.11)，特别地，当 

时，（2_9)中的因子％化为§ 除了 或 P 以外，此和为0,而在这两种特殊 

r=0 

情况下，此和中每一项都等于 1. 因此，当走》时户屮化为办-,，而当々<7•时化为❿这 
就给出了矩阵(灼走）. 
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(e) 占位问题. 第 15. 2节例 （ g) 表明古典的占位问题可以用马尔可夫链的方法 
来处理.如果有7个盒被占而另外 p — j 个盒空着，则称系统处于状态）.如果这就是 
初始情形，并随机地再把〃个球投入盒中，则/^是有 々个盒 被占而 另外; o— 々个盒空 
着的概率（所以当 &<) 时/^ )= 0).对7=0,此概率可由第2章 (11.7) 推岀.现 
在我们要推出，它是第2章的结果的推广. 

极为 P ]】—- Wp ， Ph 广 Y = Qp — D / p ， 所以方程组（1_9)化为 

(pt—j)xj — {p— ( 2 _ 12 ) 

对此方程组 推岀： 对一切7•均有 A = l . 当时，必有％ = 0. 因此，存在 
某个指标 r 使 i =0而 J： r #0. 所以由 （ 2.12) 推出〆 = r ， 从而特征根为 

t r = r/p, r=l， …， p (2 - 13) 

(2.12) 的对应的解为 



(2. 14) 


所以当/>「时， 
它 有解： 


4 f ) =0_ 对方程组 （L 10) 化为 

(r—j)y < j r) =(p—j + l)yY-i . 


(2, 15) 


3^ =(户=:)(— D 广、 （2 . 16) 

当然，当时 3^)=0. 因为当时: rP =0, 而当 j < r 时: yF =0, 所以 



因此， 



把上述诸因子用二项系数表示，上式可简化为 



而当/时， P ] t =^ 

[关于数值解释，可见第 4 节例 （b)-] 


(2. 17) 


(2. 18) 

► 


16.3 具有反射壁的随机徘徊 


现在，我们通过全面讨论具有状态1，2,…， (0 和两个反射壁的随机徘徊，来说明 
马尔可夫链的应用 1 • 矩阵 P 在第 15.2 节例 （ c ) 中出现过.对 一 1 ， 有 
p k ， k+1 = p ， p k , k 1 =<?♦ 而第 1 行和最后 一 行分别为（<?，/>，0广*，0)和（0,…，0，<7，/>). 

1.下述部分讨论是第14章的理论的复述.我们的二次方程式在那儿以（ 4 _7)式出现_ 量; UG ) 和 
A 2 G) 由 U.8) 给出，通解 （ 3.3) 在第 14 章中以 （ 4.9) 的形式出现.这两种方法是有关联的， 

但在许多场合，其详细的计算却是完全不同的. 
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为了与第14章的进程对比的方便，我们抛弃变量（二厂 1 ，而把特征根写成5; 1 

(这比^好），把它们从©到^-^标号将为今后的讨论带来方便.用变量 5, 线性方程 
组 （1.9) 变 成了： 


j：i = s(qx\ + pjc 2 ) ， 

jCj = siqj：^-1 + pJo^i ) , (j = 2，3 ，…，广一 1) ， （3* 1) 

x p — s{qx p - x + px p ). 


对应于5=1，此方程组之解为 A = 为了求岀全部其他的解，用特解方法（此法在 

第 14. 4 节中对类似的方程组已经用过).当； I 是二次方程式 A 二炉十 A 2 p 5 的根时， 
满足 （3.1) 的中间那些方程式.上述二次方程式的两个根为： 


A l (s) 


1+71 — 4 ： pqs 2 
Zps 


乂2 ( S) 




1 — ^/l —jpgs' 
2ps 


(3.2) 


因此， （ 3.1) 中间那些方程式的通 解为： 

Xj=A(s)X\ (s)-\-B(s)X { ⑴ ， （ 3. 3) 

此处 ^(5)和召(.<0 是任意的. （3.3) 满足 （3.1) 的第1个和最后一个方程式的充分必 
要条 件是： 和〜=七 +1 .这要求 A (5) 和 3(5) 满足下列诸 条件： 

A(s) { 1 一 Ai (5)} { 1—A 2 (5)} = 0 ， 


A(s)X p \is) {l~Ai (5) } -hB(s)A^ (5) {1 一 A 2 (s)} =0. (3. 4) 

反之，如果此二方程式对某个 s 成立，则 （3.3) 是线性方程组 （3.1) 的一组解，而 
且此解只有当；^0)=义 2 0)时才恒为 0. 因此，我们的问题是找出5的值使 

，但 A! (3. 5) 

因为；^(5)义 2 (5)=^/>，所以第一个关系蕴涵了 Ai (5) 必须是1的一个知次根， 

即是说 


Xi ( s )= \fqip (3. 6) 

此处 r 是一个满足 ( XrCZpW 整数. 由定义 （3.2) 容易推出只有当时 （3.6) 
才能成立，此处 


s~ l = 2 Vpq • cos nr / p . (3, 7) 

值 5=5, 违背了 （3. 5) 中的第二个条件.此外， S r = s 2 p - r ，从而 (0 个不同的特征值由 （3. 7 ) 
对 r =0， l …，1所给出， 

对 s=s r 解 (3. 4) 并将结果代人 (3. 3) 得： 



、 ' 

• Ten 

sin — 

( 、 

q 

'P \ 

P 



0+D/2 

sin 



(3.8) 


此处 r = l ， …，1，而当时，有 

^ 0) = 1. (3.9) 

另一组方程式 （1.10) 现在 化为： 
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2节例 （ a )， 在那里，所有的计算都已完成 .] 代替6个6元方程式的是一些仅含2 
个方程式的2元方程组. 

应当指出， （4.3) 中的 C /„ 和 V ,,不是 I ；和 V 的方幂，而且它们也不能用得到 A % 
F ‘和的简单方法来得到.然而，在计算 P 2 ，^, …时，第3列和第4行也不影响其 
余的四列.换句话说，如果把厂中对应于和£ 4 的行和列统统去掉，我们得到 
矩阵 


/ A " 0 \ 

\u n rr 

它是 P 中的对应的下列子矩阵 

4 4 0 0 



(4*4) 


(4*5) 


的 n 次方.因此，矩阵 （4.4) 能用第1节中的方法来计算.在目前的情况下，计算 


大为简化，矩阵 h 可用类似的方法得到_ 

通常，1/„与¥„的明显表达式只是由于它们 与吸收概率有 关才显得重要 • 譬如 
说，系统从出发，试问 它最终进入由和£ 2 构成的闭集 （并不进入其他闭集) 
的概率 A 是什么？ 这个事件恰在第《步发出的概率 A 〃是什么？显然，/十是所 


考虑的事件在第〃步或此前出现的概率，即 

pli + Piz =A 1 +A 2 +m+ ； l„. 

令 00 即得 A . 计算的较好方法如下：第 w — 1步必须使系统处于异于私和巧 
的一个状态，即处于在 或^ (因为由瓦或瓦不可能转移到和 E 2 X 然后，系 


统在第〃步处于^或£： 2 . 所以： 

A„ — plT l) ( p-^x "h piz ) pis U (An + 户 62 ) 二了 /^t 


注意， 


L 完全由中的元素所决定，而是容易算出的，在现在的情形下， 


PS ) 



，所以 A 



( b ) 兄妹交配_现 在把第 15. 2节例 （ j ) 进行数值处理，下面讨论的主要点是， 
当〖二1时特征方程式的二重根时，下述经典的表示式 






(4.6) 
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仍然成立. 

线性方程组 （1.9) 取下列形式 


^1 





—一 


+ -^-^3 




16 


了1 + 丁工2 + 



， 


(4.7) 


■^^3 + ^ 2^4 + -^ X 5 = £ r 4 '5 =以5，工3 =以6， 

这些方程式展示了给定的矩阵的形式.除了 t = l 以外，显然第1和第5个方程式的 
解为4=工 5 =0.因此，当时，这些方程式化为含有4个未知数的4个方程式， 
用标准的消去变量法，得到一个/的4次方程式作为与那4个方程式相适应的条件. 
因为总共有6个特征根，所以是二重根.容易证明此6个特征根是 1 : 

’1 = ’2 = 1“4 =+ “5 (4_ 8) 


(4*7) 的对应的解 （ xP ， 


■(r) 


可选取如下 


(1’寻’+，+’0’音)，(0’"^’+’寻，1’ + )’(0’1，0’一1’。’0)(0’1’一1’1’0，一4)’ 


(0，1，一1+7^，1，0,6 — 27^)，（0，1，一1一7^，1，0,6十2瓜 （4, 9) 

下一个问题是求 出：把 （4.7) 的行列互换所得到的方程组的对应的解 （3^ ，…， 
3^). 对于 r >3, 其解差一个常数因子而惟一决定，但是，对于二重根 A = i 2 = l ， 
我们必须从无穷多个形如 （ a ，0,0,0,6,0) 的解中选取.适当的解应从满足表达式 
(4.6) 的形式中选取.确实，观察一下 （4.9) 得知： 除了 r = l 以外，*2^=0，因 

此， （4.6) 给出此 >=#3^对一切々和《成立.但是， K 是吸收状态，故有此>=0 
对一切 々尹 1成立，由此 推出： 对 r = l ， 我们必须形如 U ，0,0,0,0,0) 的解，同理， 
对应于 r =2 的解是 (0,0, 0,0, 6,0). 对应于其他的特征值的解容易求得.（在计算中， 
那些解的选取都展示在下面诸矩阵的第2行 .） 于是正则化常数产由 (1.14) 决定， 
用上述方法，我们得到了公式 （4.6) 中的所有的量. 

在最后的结果的展示中，对应于 r = l 和 r =2 的两个矩阵合成了一个.此外，对 

应于 r =5 和 r =6 的元素都具有的 形式. 为了排印的清晰和方便， 
我们把形如和幻的贡献重新进行了总结- 


1,用观察法可知因为它对应于简 单解： X 2 = - X 4 = 1 =0. 对应于其他的根 

的三次方程式是简单的. 
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P 


1 0 0 0 0 0 


I 0 0 0 I 0 


0 0 0 ^0 


0 0 0 4 0 


0 0 0 0 1 0 


0 0 0 ^0 


n 


0 

-1 

0 


0 

1 -2 

0 0 

0 0 


0 

0 

0 

0 

0 

0 


0 

-2 


0 

0 


0 0 
1 0 
0 0 
1 0 
0 0 
0 0 




20 


0 

0 

0 
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4 
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-4 
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-4 
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0 

0 

4 
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16 


0 0 0 
4 — 1 — 2 
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16 _ 16 


0 

4 


2 

0 



0 

0 

0 

0 

0 

0 


-9 

6 

4 

6 

— 9 

2 


一 11 

4 

16 

4 

一 11 

— 2 

40 

-9 

6 

4 

6 

-9 

2 
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0 

0 

0 

0 

0 


-14 

16 

一 16 

16 

-14 

12 


.n 




40 


% 


0 0 
-4 2 

5 4 

4 2 

0 0 




0 0 0 
4 2 —4 
0 4 

4 2 

0 0 


0 

0 




5 

4 

0 




0 

0 

4 


容易验证此公式对?7 


-6 0 16 0 -6 
也成立.另一方面，由 （4.6) 右边的结构，容易 看出: 


(4.6) 若对某个〃成立，则它对〃+1也成立.用这种方法，推出 （4.6) 的正确性无 
需应用第1节的一般理论. 

16. 5在循环时间中的应用 


在第 13. 2节习题19中，曾指出如此用循环事件 S 在第〃次试验中出现的概率心 
来计算 S 的循环时间的均值 p 与方差 V . 如果 S 不是周期的，设^有限，则 


M ，士而且§ 


、 = 7 一 "+" 

" V 


2 




(5. 1) 
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如果把一个常返状态 氏视为 S ， 则 = (且叫=1).在有限马尔可夫链中， 
一切循环时间都有有限方差（参见第 15. 14节习题19)，所以 （5.1) 可以应用.假 
定 g 不是周期的且 （1.5) 可以应用.则且 | ~ | <1对一切 r =2, 3,…成 
立，故#—居 Lf 1 . 对 （5.1) 的项 A —"— 1 ， 对应于 

^ dftr. ( 5 . 2 ) 

r-2 

此公式对一切成立，把具有公比^的几何级数加起来 得到： 


S ( pT -})= t , f ^7 - (5.3) 

Tj^\ P-) r = 2 1 lr 

以此式引入 （5.1)， 我们 发现： 如 果^是 非周期的常返状态，则其平均循环时间为 
fly — ， 而其猶环时间的方差为 

"】+2 片 2 幺舍. (5.4) 

当然我们假设公式 （1.3) 可以应用而且 ^=1. 对周期状态和出现重根的情形，只需 
作一点点修改就行. 
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17. 1 一 般概念 • 马尔可夫过程 

前一章所讨论的马尔可夫链，可以非常粗略地描述为这样一类随机 过程： 其将 
来的发展只依赖于现在的状态，而不依赖于过程的过去的历史，或者说不依赖现在 
这一状态曾到过什么 状态. 此类过程只包含可数无穷多个状态，而且它们只依赖离 
散的时间参数，即是说，状态的变化只发生在固定的时刻 2 ….在目前这一 

章，我们将考虑下列 现象： 电话呼叫、放射性蜕变、染色体分裂等等，其变化可以 
发生在任何时刻.用数学语言描述，我们将关心具有可数多个状态但依赖连续时间 
参数的随机 过程. 在离散概率的框架下，要完整地描述这类过程是不可能的，而且 
事实上，此处并不正式地描绘我们感兴趣的那些马尔可夫过程 • 为了描述过程的历 
史，我们必须给定状态发生变化的时刻，而这包含了连续统中的概率 • “将来的发展 
不依赖过去的历史”的表述有着明显的直观意义（至少与离散的马尔可夫链类似）， 
但是，正式的定义却包含了条件概率的概念，这超出了本书的范围 • 但是，许多与 
此类过程有关联的问题，只要承认这种过程确实存在，就可以分别用非常初等的方 

法来处理.我们将用这种方式来处理. 

对应于离散马尔可夫链的转移概率现在是心“），即是：在时刻 
系统处于状态 E , 的条件下，在时刻 r 系统处于状态的条件概率.正如记号所揭示 
的，此概率仅与时间区间的长度 i 有关，而与它在时间轴上的位置无关.称这种转移 
概率 为平稳 的或时齐的.（至于非时齐的过程，将在第9节中处理 .） 类似于第15章 
(3.3) 的基本关系，现在是下 列查普曼-科尔莫戈罗夫方 程式： 

匕(出 ） = E P , j ( r ) P } k ( t ^ (1.1) 

这是基于下述 理由： 假定在时刻0,系统于状态 E ,， 而右边第 j 项代表下列复合事 
件的概率，在时刻 r 发现系统处于状态玛，而在以后的 r + i 时刻系统进入状态但 
是在时刻0处于状态 E , 到时刻 r + i 转移到状态£；，在时刻 r 必须经过某个中间状态玛， 
对所有可能的马求和，我们发现 （1.1) 必须对任意（固定的） r >0 和£>0成立. 

在这一章中，我们将研究基本方程式 （1.1) 的解. 将会看到，对具体情形作 一 


1. 这一章几乎不依赖第10至16章.术语“随机过程”的应用，请见第 15. 13节的脚注. 

2. 在前些章中，当我们处理随机过程时，我们用时刻 （epoch) 表示时间轴上 的点. 在正式的讨论中， 

时间 (time) 一词作“持续时间”用. 
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些简单假设，即可导出的微分方程组，甚至不需要解这些微分方程组，就可以 
推岀它们的一些有趣的结果.这些结果是很有意义的，因为我们的解实质上是马尔 
可夫过程的转移概率，它们由这些微分方程组和时刻0的初始状态所惟一决定.这 
些直观上明显的事实将不予证明而承认之 . 1 

对于固定的 j 和（，巧,（0定义了一个普通的离散概率分布.它依赖于连续参数 h 
而我们已经遇到过许多含有连续参数的分布族.从技术上看，下一节的研究仍然停 
留在离散概率的框架里面，但是，这种人为的限制在许多场合都过于生硬.泊松分 
布 ikY / nW 可以说明这一点.它的第0项可理解为在一个固定的长为 Z 
的时间区间内没有电话呼叫的概率.但是，也是第1个呼叫的等待时间超过 f 的 
概率，因此，我们间接地联系丫一个在时间轴上的连续概率分布.在第6节中，我 
们将回到这一点来. 

17. 2泊松过程 

基本的泊松过程，可以从各种不同的角度来观察，但是，此处我们把它作为这 
一章要研究的过程的一个典型个例来进行研究.下面的关于泊松分布的推导，就便 
于推广来说，是最好的，但是，就其他方面而言，并非很好.应该把它与第 6. 6节的 
初等推导作比较.与第 12. 2节 （ a ) 中作为独立增量的最简单的特例的泊松过程作 
比较. 

为了提供经验背景，考虑诸如质点的裂变，进入的电话呼叫，有害辐射下染色 

体的分裂等随机事件.假定一切发生的事件都是同一类型的，而且我们关心的是长 

为^的任一时间区间内发生的总数每一次发生用时间轴上的一个点来代表，因 

此，我们实际关心的是直线上的点的某种随机分布.基本的物理假 设是： 一 种力量 

和影响控制此过程保持稳定，以使任何特定的事件的概率对一切长为£的时间区间都 

是一样的，而且也不依赖过程在过去的进程.用数学的术语说，这就是过程是上一 

节所描述的时齐的马尔可夫过程.如前所述，我们并不企图得到这类过程的完整的 

理论，而只是推出下述基本 概率： 

P „( t )= P { ZCt )= n }. (2. 1) 

这可以由一些简单假设而不需深刻理论就可以严格地推出. 

为了引进的记号对本章其他的过程也适用，我们选取一个时间度量的原点，并 
说在时刻 t >0 系统处于状态 E „， 如果在0与 i 之间恰巧发生 n 次跳跃.于是 P „ U ) 等 

于状态在时刻 （出 现的概率，但是 P n ( i ) 也可以描 述为： 在任何时刻 5 处于任何状 

1. 然而，值得注意 的是： 可能存在（较病态的）非马尔可夫过程具有同样的转移概率.这一点在第 
12. 2节 （ a ) 中联系独立增量过程（它是特殊的马尔可夫过程）讨论过 • 也可见第9节的讨论，特 
别是第9节的第1个脚注. 
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态£： ; 到时刻 5 +£转移到状态£：, + „的转移概率.现在，把过程的非正式描述翻译为概 
率尸„0)的性质. 

让我们把一个单位长的时间区间分成长为 匕二， 1 的 JV 个子 区间. 在这些子区间 
中的任何一个发生一次跳跃的概率为 1— noo , 从而含有一次跳跃的子区间的个数的 
期望值为 /^[ l — P Q (/0]. 人们直观上 觉得： 当 / i — 0时，此数将会收敛到任一单位长 
的时间区间内跳跃的次数的期望值.因此，自然地假设存在一个数;1>0使得 1 

m — Pq(/i) ]4 A ， (2.2) 

过程的物理图象也要求一次跳跃总是把状态 E , 转移到邻近的状态 & +1 ，这就蕴涵了 
包含多于一次跳跃的子区间 (长为 h ) 的个数的期望值应该趋于 0. 所以，我们假设 
当 h ^ O 时有 

h — 1 [1- P 0 (/ i )]~^0. (2.3) 

为了假设的最后的陈述，把 （2.2) 写作 P e (/ i ) = l _； l / i + o (/ i )， 此处（如常规） o (/ i ) 
比办的阶更小 的量. （更精确地， o (/0 表示满足下述条件的量：当0时 / TkC / O — 
0.) 应用这种符号， （2.3) 等价于现在我们 给出： 

关于泊松过程的假设. 过程在时刻 0 由状态出发. （ i ) 从状态 A 只能直接转 
移到 ( ii ) 无论在时刻 t 处于什么状态£,，在 t 与之间的充分小的时间区 
间内恰有一次跳跃的概率为 A / i + o (/ i ), 而有多于一次跳跃的概率为 o ( h ). 

如前一节所解释的，这些条件比我们开始时提出的概念（过程的已往历史不影 
响将来的进程）要弱.另一方面，此处的假设是纯分析性质的，它们充分保证能推 
出我们所需要的下述 公式： 


= (2.4) 

n ! 

为了证明这一公式.首先假定《>1并考虑下述事件：在时刻系统处于状态五„. 

此事件的概率为尸„0+/0,而且此事件有三种互斥的方式发生.第一，在时刻 i 系统 

处于状态 E „， 而在？与之间没有跳跃发生，此事件的概率为 

P„(t)P 0 (h) — P„(t)[l—^iJ J ro(h). 

第二种可能，在时刻，系统处于状态而在 f 与 i + A 之间恰巧发生一次跳跃，此 
事件的概率为 U ) • 汕 +0(/0. 第三，在时刻 i 处于其他任何状态（非仏，亦非 
E „-,) 都要求在 i 与 i + / i 之间发生一次以上的跳跃，此事件的概率为 oU ). 总之， 

我 们有： 

P n (t-hh)=P n (t)(l-Ah)~i-P r ,-i(t)^-ho(h) (2.5) 

而此关系式可重写成如下形式 

- P - a+/ ^~ P ^ = --AP,(0+AF^ 1 (0+^. (2.6) 


L 首先引入假设（2.2)，是因为它易于推广到其他过程，在目前的情形下，很自然地发现⑴满足函 
数方 程式： PoCr+r)=Po(^)^oCr), 此方程式蕴涵了 （2.2). (见第6节 .） 
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当 / i —0 时右边最后一项趋于0，因此，左边的极限存在 1 而且 

— AP „ ⑴ + AP „— 】 （0 (2. 7) 

对于 n =0, 上述第二和第三种情况不会发生，从而 （2.7) 代之以下述方 程式： 

Poit -\~ h ) = P 0 (. t ) (1 — A / i )+ o (/0, (2. 8) 

由此 推出： 

p r o Ct ) ~ — XP ( jit ). (2.9) 

由此及 P () (0)=1 得以此代入 （2.7) 中的场合得尸“£)的常微分 
方程式.由巧（0)=0易知巧（〖)=；1^ '这与 （2.4) 相合.用类似的方法，可逐次 
求出 （2.4) 中的所有的项. 

17. 3纯生过程 

泊松过程的最简单的推广可由下述办法 得到： 允许跳跃的概率依赖系统所处的 
现实状态.这使我们导出下述. 

假设 （ i ) 从状态£，只能直接转移到 ( ii ) 若系统在时刻 i 处于状态£,,， 
在 r 到的充分短的时间区间内恰有一次跳跃发生的概率为 X „ h + o ( h ), 而在上述 
时间区间内有多于一次跳跃发生的概率为 o (/ i ). 

此假设的显著的特 征是： 系统在任何特殊状态所花费的时间不起作用，系统停 
留在单个状态时，会有状态的突然改变而无老化现象. 

再令产,（〖)是系统在时刻〖处于状态的概率.函数 P „ U ) 满足一组微分方程式， 
它可用上一节的方法推出，只不过用下列方程式 

P „( t -\- h )= P „( t )( l — X n h ) J rP„-i ( t ) X „^ ih ~\~ o ( h ). (3. 1) 

代替 （2.5) 罢了.用这种方法得 到基本方程组 

P / „( i ) = — A n P „( i )+ A „~ iP M -i (O ( n ^ l ) , (3.2) 

P ， 0 (，) = - A 0 P 0 ⑴. 

在泊松过程中，自然地要假设系统在时刻0从初始 状态瓦 。岀发 . 现在我们更一 

般地假定系统从任一个初始状态出发.这蕴涵了 2 : 

P ,(0) = 1, P „(0)=0 当 •时. （3.3) 

这些初始条件惟一地决定了 （3.2) 的解 { P „ U )}. [特别地， = ⑴ 一••= 

P I _ 1 (0^0.] 许多学者已经独立地推出了 P rt ( t ) 的精确公式，但是我们对此并无多大兴 
趣.容易 验证： 对于任意给 定的; 1„，系统 {^(0} 除了在某些条件下有 2 P ,, U )<1 以 

1. 因为限制了 A 取正数， （2.7) 中的户'„(0应理解为右 导数. 实际上它是通常的双边导数.事实上， 
(2.5) 中的 o ( A ) 不依赖所以用 f 一 A 代 f 它保持不变.所以 （2.5) 蕴涵了通常意义下的连续性， 
而 （2.6) 蕴涵了通常意义下的可微性.此附注通章使用，以后不再复述. 

2. 以后将会发现，与第1节中的转移概率是一样的. 
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外，它满足通常要求的一切性质. EP ,, U )<1 的现象，将在第4节中讨论. 

例 U ) 放射性蜕变. 具有放射性的原子，例如说铀原子，可以通过质点或 y 射 
线的放射而变成另一类原子.每一类原子表示系统的一个可能状态.当过程继续卞 
去时，我们得到了转移匕.根据公认的物理理论，只要原子处于 
状态£；，那么， 转移： £；— 瓦 +1 的概率是不变的.此假定在我们的初始假设中就已 
表述过.因此，此过程由微分方程组 （3.2) 来描述（物理学家对此事实是熟知的). 
如果是不能由它进一步转移到其他状态的终结状态，则 ； U = 0, 而且方程组 
(3.2) 截止于[对于 w > m , 恒有 P ，, ⑴ =0.] 

( b ) 尤尔 （ Yde ) 过程. 考虑一个总体.其成员能通过分裂或其他方式产生新 
成员，但不会死亡，在长为^的任意短的时间区间中，每个成员产生一个新成员的 
概率为从+0(/0,其中常数 A 决定了总体的增长速度.如果成员之间无相互作用， 
而且在时刻 i 总体的大小为《，则在 UW + /0 中总体增大的概率为 WA + 0 (/0. 因此， 
总体在时刻 i 恰有〃个成员的概率 P „( i ) 满足具有系数 = W 的方程组（3.2)， 

即是： 

P' „it) = —7^P„(t) J r(n — 1) AP „—1 ⑴ (3.4) 

P ， „(/)=0. 

设总体的初始大小为则初始条件 (3. 3) 成立，而且易证对一切有 

尸力 ）= (”― Me— Af (l — e 上广 ― J (3, 5) 

当然还有：当•时 P „ ⑴二0 (对一切 f ). 应用第6章 （8.1) 的负二项分布的记号， 
可以把 （3.5) 重写 为尺⑴ =/ U —心 ， e ”. 由此推出[参见第 9. 3节例 （ c )] : 在时 
刻 f 总体的大小是 i 个相互独立的随机变量之和，而其中每个随机变量的分布可在 
(3.5) 中以1代 i 而得到.这 f 个随机变量代表总体的 i 个初始成员的 后代. 

此类过程，首先是由尤尔 1 联系进化论中的数学理论来研究的.总体是由一个同 
一 属中的物种组成的.新元素的产生是由于变异.“每一物种产生新种具有相同的概 
率”的假设忽略了物种的大小上的差别.我们还忽略了物种灭绝的可能性.因此， 
可以预料，公式 （3.5) 只能给出一个粗糙的逼近. 

弗里 [114] ( W . H . Furry ) 曾用相同的模型来描述与宇宙射线有关的过程.但逼近仍 
然很粗糙.微分方程组 （3.4) 能严格地应用于下述质点的 总体： 这种质点分裂出来 
的是完全相同类型的质点，而且质点之间没有相互作用. ► 


1. 参见 [111]. 该书以 [112] 的理论为基础 • 尤尔并未引人微分方程组（ 3 . 4 )，而是使用类似于第 
6. 5 节中关于泊松过程曾使用过的极限过程来推出 h ( r ) 的.肯德里克(九 G . M ' Kendrick ) 在 [m] 
中设计了此类过程的一种更一般更灵巧的模型，并用之于流行病和总体的增长问题中.遗憾的是: 
这篇杰出的论文并未受到重视，特别是，本书作者在引进总体增长的各种随机过程的模型时，也不 

知道此结果. 
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*17.4 发散的生过程 

无穷的微分方程组 （3.2) 在初始条件 （3. 3) 下，其解可以 P ,(0 = 

e _« 出发归纳地算出.所以分布{匕⑴}是惟一决定的.从解线性微分方程组的熟知 
的公式还可知惟一剩下来解决的问 题是： { P „(0} 是否确实是一个概率分 
布，即是否对一切 f 都有 

SP n (0 = l . (4. 1) 

我们将要看到，并非总是如此.如果系 数夂增 加得非常快，可能有 

EP „(?)<1. (4.2) 

当这种情况出现时，会令人不安，但却有现成的解释. （4.2) 左边可解释为在长为 f 
的时间区间内仅发生有限次跳跃.因此， （4.2) 两边之差正说明无穷多次跳跃或某 
种爆炸的可能性.为了更好地理解这种现象，让我们把此处的增长概率模型与熟知 
的决定性的方法作一比较. 

(3.2) 中 的量； U 可称为大小为《的总体的平均增长率.例如，在特殊情形 
(3.4) 下， X n = rA , 故平均增长速度与总体的实际大小成正比.如果增长不受随机起 
伏的影响，而且增长速度与总体的瞬时大小 orG ) 成正比，则: r ( f ) 满足下述决定性的 

微分方 程式： 

(4.3) 

由此推出 

xit )~ ie k , (4. 4) 

此处是总体的初始大小.立即可见，分布 （3.5) 的期望因 
此， xU ) 不仅描述了一个决定性的增长过程，而且也描述了第3节例 （ b ) 中的总体 
大小的期望. 

现在让我们考虑这样的确定性的增长 过程： 它的增长率的上升要比总体大小上 
升得快.当增长率与成比例时，对应的微分方程 式为： 

^^=紅 2 (0， (4.5) 

其 解为： 

= (4 . 6) 

注意，当 1/ Ai 时，上升至无穷大.换句话说，假定增长上升的速度为总体大 
小的平方时，那么，在有限的时间区间内会无限增长.类似地，如果（ 3 . 4 ) 中的夂 
上升得太快，则在有限的时间区间内发生无穷多次变化的概率为正 • 下述定理给出 

* 本节处理特殊的主题，可略去. 
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了发散增长的条件一个精确的回答. 

定理 S PAt ) - 1 对一切 f 成立的充分必要条件是级数 Sat 1 发散 . 1 

证令 

S ,( t ) = P 0 ( t)H - (4.7) 

由单调性可知极限 

a ⑴ = —S 々⑴] (4. 8) 

存在.把诸微分方程式 （3.2) 对《=0，…，々加起来可得 

S ， k ( t ) = ~ X k P k ( t ). (4.9) 

由初始条件 （3.3) 及上述微分方程式推出对一切有 

1 — 二; U 「 P *( r ) d r . (4. 10) 

Jo 

由 （4.8) 可知上式左边落在"与1之间，所以 

、]"("<「 P〆 抽 d (4.11) 

J 0 

对々=〗，•_•，77求和可知，对任何〃有： 

"⑴ [A^+ … +A7 1 ]< S rt (5)d5<A z rl 十… +A 乂 （4. 12) 

J 0 

设 Ea ^ O 0 . 当 co 时，最右边那一项是有界的，因此，被积函数不可能对一切《 
都趋于 1. 反之，设由第一个不等 式知： = o 对一切 i 成立.再用 

(4.8) 可得 SJO— 1,定理证毕， ► 

若用概率解释，此准则是合理的，系统停在初始状态£。耗费一段时间后转移到&，在 
&停留一会儿转移到£ 2 ,等等.在£。的逗留时超过 〖的 概率由 （3.2) 给出 如下： Po ( t ) = 
e_V . 这个逗留时 T。 是一个随机变量，其像域是正的卜轴，因此形式上看，它超岀了本书的 

范围. 然而，从几何分布到指数分布的跃度 不大， 我们可以跳过一个细节而于事无损.用具 
有几何分布的离散随机变量来逼近 T。 看出，自然地要定义在 E。 的逗留时的期望为 

E(To)= r te ~^ Xodt ^ Xo \ (4. 13) 

Jo 

在系统进入氏那个时刻，£,取代了初始状态的角色，类似的结论可用 于在乓 的逗留时乃. 
在氏的逗留时的期望为由此 推出： 、 _1 + AF 1 +… +A7 1 是系统经过状态£。， 
，…， 所需的时间的期望值.我们可以把第4节的准则复述 如下： 

SP „(/) = 1 对一切 f 成立的充分必要条件是 

2 e (T ; ) = Sa - 1 =^, (4.14) 

即是说，在 E 。， £：】，&，…上耗费的时间的总和的期望必须为⑺ ■ 当然 Lo (/) = l _2 h (/) 

是系统在时刻 f 以前已经经过全部状态的概率 • 

通过这种解释，不等式 （4.2) 中的概率变得可以理解了_如果在状态氏的逗留时间的 

1.不难看出，不等式 S ^ uxi 要么对一切成立，要么没有一个使不等式成立_见习题 


22. 
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期望为2~，则系统在 l +2™ i +2- 2 +…= 2个时间单位经过全部状态的概率大于 0. 类似地， 
以指数增长的速度运动在: r- 轴上的质点在有限时间内穿越整个的 X- 轴. 

[在第 9 节例 （ b) 中还要回到发散的生过程 .] 

17.5 生灭过程 

第3节中的纯生过程对放射性蜕变提供了一个令人满意的描述，但是，它不能 
作为其成员可能死亡（或扬弃）的总体的大小的变化的实际模型.这就启发我们将 
上述模型作如下推广：由状态 R 不仅允许向邻近的较高的状态转移，也允许向 
邻近的较低的状态转移.（更一般的过程将在第9节中定义 .） 因此，我们从下 
面的假设出发. 

假设 系统的变化仅通过其状态向邻近的状态转移（当时，可以转移到 

但 E 。 只能转移到 £；) 而发生.如果在时刻 f 系统处于状态 E „， 则在 （ 
到， +/ i 之内发生£：„4的转移的概率为 A , A + o (/ i )， 而发生（如果 《彡1) 
的转移的概率为 + 在时间区间 U ， t + h ) 内发生多于一次变化的概率为 

o (/ i ), 

容易修改第2节的方法以推出系统在时刻 i 处于状态的概率所满足的微 
分方程组.为了计注意，在时刻 i + h 系统处于£：„只有满足下列条件之 
一才有可能 发生： （1) 在时刻？系统处于而在 i 与 i +/ i 之间无变化 发生； 
(2) 在时刻 i 系统处于£：„_!，而在〖与 （+ A 之间发生一个转移£：«_!—瓦； （3) 在时 
刻，系统处于 E „ +1 ， 而在时刻 i 与 i +/ i 之间发生一个转移 (4) 在 i 与 f+/i 
之间发生多于一个 转移. 由假设，最后一个事件的概率为 o (/ i )， 而前三个事件是互 
斥的，从而它们的概率可以相加.因此 

P„(/ + A) =P„(f) { 1 ~X,h — /J-rh } +A„-l/jP„-l (t) 1 h.P n+ ! ⑴ +0("). (5. 1) 

把尸„(0移项至左边，再将两边除以并对取极限得 

P ’„ U ) = —( A „+/ i „) jP „(0+ A „— i_P„-i (0 +//„+! P„+i ( t ). (5. 2) 

此方程式对一切都成立.对 n=0 ， 用同样的方法 可得： 

P ， o ( t ) = ~\ oPoU }+^ P 1 ( t ). (5.3) 

如果初始状态是瓦，则初始条件是 

p .(0) = 1, P „(0) = 0 (当 《右). （5.4) 

因此我们看岀，生灭过程依赖于无穷微分方程式组 （5.2) — （5.3) 并满足初始 
条件 (5.4). 在此情形，解的存在惟一性决不是不足 道的. 在纯生过程中，微分方 
程式组 （3.2) 也是无穷的，但是，它们有递推关系， Po ( t ) 由第一个方程式决定，而 
P „ U ) 可以由 A - Ai ) 所算出.新的方程组 （5.2) 不是这种形式，所有的户„(0必须同 
时求出.在这里（以及本章其他地方）只陈述解的性质而不予证明 . 1 


1. 简单的存在性证明与惟一性准则可以由作者给出的一般理论的特殊情况中得到（见第9节).满足条 
件 2 P „ U )<1 的生灭过程的解最近引起了许多作者的广泛注意，可 参见： [115] [116] [117] [118]. 
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对于任意给定的系数; 1„>0,外>0, （5. 2)~(5.4) 总存在一组正的解 {尸„(0 } 满 
足如果系数有界（或者上升得比较 慢）， 此解是惟一的而且满足正则化 
条件 = 然而，可以取系数使得2尸„(0<1而且存在无穷多 组解. 在后面 
这种场合，我们会遇到在前一节中类似于纯生过程所研究过的现象.这种情况，具 
有重要的理论意义，但读者放心，关于惟一性的条件，在所有具有实际意义的情形 
下都是满足的，在这种情况下，自然有 = 1 (见第9节). 

当 A e =0 时，转移是不可 能的. 用马尔可夫链的术语来说，是 吸收状 
态，从它不可能流出，一旦系统处于就永远停留在 E 。. 由（5. 3 )推出，在这种 
情况下有所以 尸。（0 单调上升.极限 P Q ( oo ) 是最终被吸收 的概率 • 

可以证明（或者从解的精确表达式出发，或者从马尔可夫过程的一般遍历定理 
出发），在任何情况下，极限 

limP „(0 ^^ n (5.5) 

►jIjC 

存在且不依赖于初始条件 (5.4), 它们满足在（5,2) —（5.3)中代严《(0以0所得到 
的线性方程组. 

关系式 （5.5) 与第15, 7 节中所推出的通常的马尔可夫链的极限定理相似，而且 
这种相似之处比形式的东西还要多，直观上看，把我们的过程与具有转移概率 


Pn，n 




Pru 


(5.6) 


的简单的马尔可夫链作比较， （5.5) 就变得很明显了.在此马尔可夫链中，仅有下 
面两种直接 转移： £：„— 民 +1 和£；—瓦- i ， 而且其条件概率与我们的过程的条件概率 


是一样的，此链与我们的过程的差异仅仅 在于： 后者能在任何时刻发生变化，所以 
在长为 i 的时间区间内发生转移的次数是一个随机变量.然而，对于大的6此数必 
然很大，因此，当时，概率 P „(0 的性态与简单链的对应的概率的性态相同是 


可以想像的. 

如果具有转移概率 （5.6) 的简单链是暂留的，那么对一切《都有九=0，如果 
链是遍历的，则定义出一个平稳概率 分布. 在此场合， （5. 5 )通常解释为“趋 
向稳定状态的条件，’，而此命名引起过许多混乱.必须 了解： 除了炅是吸收状态以 
外，随机起伏一直不会减弱， （5.5) 仅仅 说明： 在长连贯中，初始条件的影响不会 
出现.第 15. 7节中关于统计平衡的附注可以不加改动地移置于此. 

生灭过程的主要应用领域是：等待时间问题、占线问题等等.见第 6 节与第 


7 节. 

例 U ) 线性 增长. 假定总体由一些既能分裂又可能会死亡的元素所构成.在长 
为 A 的很短的时间区间内，一个活着的元素分裂成二个的概率是从 + 而死去 

的概率是/ ^+ o (/ i ). 此处 A 和;/是两个刻画总体的常数.假定各元素之间没有相互 
作用，我们导出一个具有 = 成， = T 的生灭过程 • 基本的微分方程式组取下述 

形式： 
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P / 0 (£)=^Pi(O, (5.7) 

P f n (.t) = — (X-\-/u)nP n (t)-i~X(n _ 1 ) P n ~i it) + ( w(w+l)P„-^i (0. 

可以求出精确解 1 ( 参见习题 11 — 14)， 但此处不打算讨论这方面的问题.极限 （5.5) 
存在，而且满足 Q ) 代之以0的方程组 （5.7). 由第一个方程式得久=0,用归 
纳法，由第二个方程式得久= 0对一切成立.如果/)。= 1，我们说最终灭绝的 
概率为1;如果趴<1,则久二办二…= 0蕴 涵了： 总体的大小增值得超过任一上界 
的概率为1 —仇. 最后， 总体或者灭绝或者无限增值.为了求出灭绝概率九，我们比 
较此过程和相关的马尔可夫链.在我们的情况下，转移概率 （5.6) 不依赖于〃，因 
此，得到一个通常的随机徘徊，它向右和向左移的概率分别 Sp = A /( A + p ) 和 
( A + p ). 状态是吸收的.从古典破产问题（参见第 14. 2节） 得知： 当户< 9 时灭 
绝概率是1;而当时此概率为其中〗是初始状态.我们可得出结论， 
当时，最终灭绝的概率= limP 。 U ) 等于1;而当 A >" 时 ， po = 

(这从精确解易于验证，见习题 11-14.) 

如像许多类似的情形一样， （5.7) 的精确解是比较复杂的，因此，我们希望直 
接从微分方程式组来直接求分布 iPnit )} 的均值和方差 • 

关于均值，我们有 


M ( t )= 2 nP „ U ). (5.8) 

/!= 1 

我们略去 M ( r ) 为有限和下面的形式运算的合理性（此二者均易由习题12所给的解导 
出）的证明.乘第二个方程式以 n 并对《 = 1，2…求和，我们发现含的项消去了， 
于 是得： 

JVf ⑴ (n — l)P„-i (i) — "S(rt+l)P n ti it ) = i 入 一 (5. 9) 

这是关于 MG ) 的一个微分方程式.总体的初始大小是纟，所以 M (0)= z _. 因此 

M ( t ) = ie a ^ )t . (5. 10) 

由此 可见： 当 A</i 时均值趋于0;而当 A >" 时，均值趋于 co . 用类似的方法可算出 

分布 { P (1 (0} 的方差.[参见习题 14.] 

( b ) 单线路的等待队列. 最简单的情形是常系数 A „= A ， 这时，生灭过程 
化为第7节例 （ b ) 中 a = l 时的等待队列的特殊情形. 

17.6 指数持续时间 

生灭过程的主要应用领 域是： 电话通迅中的占线问题，各种电话、计数器、机 
器的等待队列问题 • 这类问题可以用各种近似程度不同的数学方法来处理.生灭过 


1. 通常的方 法是： 推出母函数所满足的微分方程式.在 [119] 中详细讨论了允许 （5. 5 ) 
中的系数依赖时间的更一般的过程‘也可见同一作者的论文 [120], 在那里对理论作了推广以便研 
究生物总体的年龄分布. 
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程的方法提供了一种最简易的途径，但这种模型基于一种数学简化，即假设持续时 
间是指数型的.我们首先讨论这个基本假设. 

为了语 言具体起见，考虑电话会话，并设会话时间的长度必须是整数秒.把会 
话时间的长度 X 作随机变量来处理，并设概率分布 ^ = P 已知.于是电话 

线是一个具有两个可能状态& (忙碌）或(空闭）的物理系统.当电话线路忙碌 
时，下一秒钟状态的变化的概率与会话已经进行了多长时间有关 • 换句话说，过去 
对将来有影响，从而我们的过程不是马尔可夫过程（见第 I 5 . 3 节) • 这一情况是困 
难的根源，不过，存在一种我们曾在第13_ 3节中所讨论过的简单的例外情形 • 

设想每一秒钟会话是否继续下去，由扔一个不对称的硬币来 决定. 详细地说，在 
一 个成功概率为 P 的伯努利试验序列中，假定每秒钟进行一次，直到第1次出现成功 
为止，第1次成功一出现，会话立即停止 • 在这种情况下，会话时间的总长度即“持 
续时间”具有几何分布九二?^ 1 A 当线路忙碌时，下一秒它仍然忙碌的概率是9，而 
下一步出现转移的概率是 P . 现在，这些概率不依赖线路已经忙碌了多久了. 

如果不想用离散时间参数，我们就必须与连续型的随机变量打交道.等待时的 
几何分布被指数分布所取代.这是惟一的具有马尔可夫性的分布，即是说，完全无 
记忆的分布.换句话说，在时刻 x 进行着的会话继续进行到 x + A 以后的概率与会话 
已持续的时间无关，其充分必要条 件是： 会话持续 i 个以上的时间单位的概率由指数 
分布所给岀.该“指数持续时间分布”，我们曾在（ 2 . 4 )中的泊松分布的第0项 
遇到过，即是作为到第1次变化发生时所需的等待时间的 分布. 

生灭过程的方法只有当问题中的转移概率不依赖过去才能应用，对于占线问题 
和等待线问题，这意味着持续时间必须服从指数分布.从实际观点来看，此假设初 
看可能不自然，但经验证明；它合理地描述了实际现象.特别地，许多测量表明， 
一个城市的电话会话的时间的长度以惊人的精确度服从指数分布律 . 1 对其他一些持 

续时间（如机器维修的持续时间）也是如此. 、 

还要刻画所谓的输入流（来电呼叫，机器的损毁，等 等). 假定在长为^的时间 
区间内，来到一个呼叫的概率为从与一个可忽略的项的和，而且多于一个呼叫的概 
率在取极限中可以略去.根据第2节的结果，这意味着来电呼叫次数服从均值为々 

的泊松分布_我们称这种输入流是密度为 A 的泊松型输入流. 

容易验证指数持续时间的上述性质.令《(0是会话持续时间至少有 （ 个时间单位的概率. 
从0开始的会话持续到以后的概率 wG + O ，等于它持续〖个单位以上的概率乘上已知它 
会话超过 £ 的条件下剩余会话时间还要超过 s 个时间单位的条件概率.如果过去的持续时间无 
影响，则后面这一条件概率等于 Ws )， 所以 

u(t-\-s)=u(t)u(s). ( 6 . 1 ) 

为了证明指数型持续时间的前述特征，只需证明：函数方程式的单调解必须形如 e_ ' 


1. 长途电话话费通常在三分钟后增加收费，因此，持续时间经常近似地为三 分钟. 在此情况下，指数 
分布不能应用. 
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我们证明下面稍为强一点的结果，它本身还有其用处/ 

定理令 w 是对 一切？ >0都有定义的、 （6,1) 的一个有界解 • 则或者 w ( f ) = 0 对一切， 
成立； 或者 = “对某个常数 A 成立. 

证显然 

u(a) — it 1 2 ^ ) * (6. 2) 

首先假定对某个值 a 有〃 ( a ) =0. 用归纳法由 （6.2) 可得 w (2-" a ) =0对一切整数 w 成立, 
而从 （6.1) 易见蕴涵了 = 0 对一切 r >5 成立.因此 w ( a ) = 0 蕴涵了 w 恒等于 0. 
显然 （6.2) 排除了 w 的负值，所以剩下的仅仅考虑 （6.1) 的严格正的解. 

令 e _ A = w ( l ) 和汍0 = #«⑴•则 

v(t+s)^v(t)v(s) ，且 1) — 1. (6. 3) 

我们要证明这蕴涵了 G ) =1对一切〖成立.显然，对任意的正整数 m 和〜有 

i；(~ ) =zT (― )= 〜切 (1) = 1 ， (6. 4) 

从而对一切有理数5,有 ^^) = 1. 进一步地，如果 = 则 z ; ( na ) 对任一正整数或 

负整数〃都成立.由此推出，如果〃取某个值 c 关1，那么它也取任意大的值，但是， 对/十 
r 用 （6.1) 可见 r ( r -5) = iKr ) 对任何有理数 s 成立. 因此，如果 w 在某点 r 取值 A ， 那么, 
不管多么小的区间，《在其中某一点会取值 A ， 因此， M 在任何给定的区间的有界性排除了 M 
取任何不等于1的值的可能性. ► 

17.7 等待队列与服务问题 

\ 

( a ) 最简单的占线问题 . 2 假设有无穷多条线路或通道可供使用，而且会话在区间 
it ^ t + h ) 内结束的概率为 + (指数持续时间 .） 输入流是具有参数 A 的泊松 

型输入流.当恰有《条线忙碌时，称系统处于状 态瓦. 

当然，还假定各个会话的持续时间是相互独立的.假如有《条线路忙碌，在时 
间办内它们之中有一条空闲下来的概率为 —+ 0 ㈤ .在此时段内有两个或两个以上 
的会话结束的概率的大小与 V 同阶，从而可以略去. 一 个新的呼叫到来的概率是从 
+0(/0. 在此时段来到几个呼叫或者来到一个呼叫又有一个会话结束，此类组合的 

概率都是 o ( A ). 因此，用第5节的符 号有： 

A„ = A ， }i n = nfju (7 ， 1) 


1. (6.1) 仅仅是著名的哈梅尔 ( Hamel ) 方程 /( r 十 d = /( r )+/ G ) 的对数的 变形. 我们证明它的解 
或者形如如或者在每个区间内都是无界的，（众所周知，没有一个这样的解是贝尔 （ Baire ) 函数， 
即是没有一个这样的解能由级数展开而得到，或者从连续函数出发通过其他极限过程来得到 .） 

2. 见 [121], 电话交换机的等待与占线问题，早在随机过程论以前就进行了研究，并刺激过理论的发 
展.特别是帕姆 ( C . Palm ) 多年来被证明是有用且影响深远的 工作. 此领域最早的工作者是埃尔朗 
( A . K . Erlang ) (1878 — 1929) .见[122]_具有独立价值的开拓性的工作由弗赖伊 （ T . C . Fry ) 完 
成，见 [123]. 此书为概率论在工程应用中的发展做了许多工作， 
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基本微分方程式组（5_2) — （5. 3) 取下述 形式： 

0 ( t ) = _ APo ( f ) 4™ fjP i ( i )» (7 2) 

ri (t) = — (A+^£)P„(z)+AP『i (?) + (n+l)jwP,^i (t) ^ 

精确解可以由推出的母函数的偏微分方程式来得到（见习题 15). 我们仅仅决定 
(5 - 5) 中的量久 = liraP „(?). 它们满足方程组： 


入 Po = I 上 P \ ， 

(久 +”"）/?„= 又/ 5 ”-i + (”+1)"户„+1 • 

用归纳法可得久=扒 Wfir / n \, 所以 



(7.3) 

(7.4) 


故其极限分布是具有参数 A /" 的泊松分布，它与初始状态 无关. 

容易求出均值从(?）= 1：72尺（〖)*在 （7.2) 的第”个方程式中乘以”再相加，并注意 
凡⑴之和为1， 可得： 

iVf { t )=\— fMit ). (7, 5) 

当初始状态为时，有 M (0) = /， 从而 

t 

M ( r ) = —(1 — e _//, ) + ze - ^. (7.6) 

y - 

读者可验证当 /= o 的特殊情形， _ P „ G ) 精确地由具有均值 MG ) 的泊松分布所给出. 

( b ) 有限条通道的等待队列 • 1 现在把上面的例子修正到更加符合实际的模型.除 
了线路或者通道的数目为有限以外，其他假设照旧.如果所有的通道都是忙碌的， 
则新来的呼叫加入等待队列一直等到有一条通道空闲. 这意味着所有的线路具有同 
一 条公共的等待队列. 

“线路” 一词可以用邮局的 服务台 来代替，而“会话”可以用“ 服务” 来代替. 
实际上，我们所讨论 的是： 所有的 a 条线路都忙碌时，一个新到的人才需要等待的 
一 •般的等待队列问题. 

如果正 在被服务与在等待队列上的人数之和恰为 w 个，则说系统处于状态 £：„. 
只有当„>“时，这种等待队列才存在，而且此时恰有个人在等待队列中. 

只要有一条通道空闲，情况就和前面的例子完全一样.然而，如果系统处于状态 
E „, 而《>心则仅有 a 个会话在进行中，因此，对总有;4=因此，基本微分 
方程式组对《<^时由 （7.2) 所给出， 而对” 则由下面的微分方程式组所 给出： 

〆 ,,（£) ^ — ( A + a /^ P / d + AP ”-! it)ajjiP n ~\ (?). (7. 7) 

对只有一个通道的特殊情形 U = l )， 这些方程式化为系数不依 赖”的 关于生灭过程 
的那些方程式. 

当时，极限 p n == liraP ,, ⑴满足 （7. 3 )式，而当时，它们满足： 

( X + aju ) p „= Xp n - i (7. 8) 


1.见 [124]. 相关的过程，可参见习题6 — 8和 20. 
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由递推法可得 

p = p 

Pn Po n ? > 


(7. 9) 


a/ B y 

Pn pG a \ a 『 a ， 

{ rC > a ). 

(7, 10) 

只有当 

A /"〈 a * 


(7.11) 


时，级数 S ( Ayp ) 才收敛.因此，当时，极限分布 {/U 不存在. 在这种情形 
下，么=0对一切 w 成立，这意 味着： 等待队列的长度逐渐地无限增大. 另一方面， 
如果 (7.11) 成立， 我们可以从1：久=1来决定九.由的精确表达式可以证 
明： 久确实代表了尺⑴的极限分布.表 17- 1给出了 《=3， A / 〆 ^ 的一个数值例子. 

( c ) 机 器维修/ 为了先熟悉，我们从最简单的情形出发，而在下一个例子中再一 
般化.问题如下. 

我们考虑一批在正常情况下不需人看管的自动机器，只有当机器出毛病时才要 
求维修，而要求维修的时间是一个服从指数分布的随机变量.换句话说，％器是由 
满足下述性质的两个常数 A 和 p 来作特征的.如果在时刻？机器处于工作状态，则它 
在时刻以前需要维修的概率为 Ah 加一项当时可忽略的项.反之，当机器正 
在被维修时，其维修时间在 i + A 之前结束并转人工作状态的概率为对一台 
效率高的机器来说， A 应该相对地较小而^则相对地较大 • 称比值为维修 因子. 

假定 w 台机器具有相同的参数; I 和//，而且它们的工作是相互独立的，维修工又 
是一个人. 当某台机器出现毛病时，如果维修工没有为其他机器进行维修，则它立 
刻得到维修，否则这台出毛病的机器进入等待维修 队列. 如果有〃台机器不能工作， 
则说系统处于状态 £：„. 意味着有一台机器正在被维修，而有 《 — 1台 机器在 

等待维修.如果系统处于状态 E 。， 则所有的机器都在正常工作，而维修工在闲着. 

表 17- 1当通道数且 X / fi ^ 2 时的极限概率 

~ 0 1 2 3 4 5 6 7 

占线数 0123333 3 

等待人数 0000123 4 

t >„ 0. 1111 0,2222 0.2222 0. 1481 0,09888 0.0658 0. 0439 0. 0293 


转移瓦 是由 m - n 台工作着的机器中有一台出现毛病而引起的，而转移 
在维修的机器修好且返回工作状态时发生.因此，得到了一个具有下述系 

数的生灭 过程： 


X n = {m—n)X^ ^ = 0 , fjii = fi2 = 〜 = !^n = t^ 


( 7 . 12 ) 


h 例 （ c > 和 （ d ) 以及数值例子，都取 自文献 「125]_最经济的修理工的数目与图表是由帕姆给 
出的. 
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对基本微分方程式组 （5,2) 变为 

P f tt (0 = — { (m—n)A+"}P„(r) + (w—n+DA/^— 1 (t)+fjP”+' ⑴， (7. 13) 
而对极端状态 n — 0 和 n = m ， 有 


P / 0 (t)^—r?iXP 0 (t)-\-jLeP 1 (t ), 

P f m (t) = +AP；„-i (t). 

这是一个有限的微分方程式组，可以用标准方法求解.极限 A > = 
式组 决定： 


(7. 13 a ) 


UmP 力）由下列方程 


~jupi f 

{ (m — n ) 入 + p}p n = (m — n~\~l)Xp n -i 七 fjp n 


fJpm =XP 


m — 1 • 


(7. 14) 


由这些方程式，我们得到下列递推公式 


依次以 1， m — 2, 


，1，0代入，得： 


(7.15) 


Pm . 


k 


JL 

A 


k 


•Pm 


3 


而剩下的未知常数可以以诸 P , 之和为1而求出.下面的结果是熟知 的埃尔朗损失 
公式： 


Pm = 

表 17-2 中给出了典型数值. 


1+ n(f 


參》 • 


+ 


JL 
m ! \ A 


m 


(7. 16) 


表 17-2 埃尔朗损失公式对; l // i =0.1， m =6 时的概率仏 


n 

等待维修的机器数 


Pn 

0 

0 

0_ 

4845 

1 

0 

0. 

2907 

2 

1 

0_ 

1454 

3 

2 

0, 

0582 

4 

3 

0. 

0175 

5 

4 

. 0, 

0035 

6 

5 

0* 

0003 


概率九可解释为维修工空闲的概率（在表1 7 _2的例子中，他会有约一半的时间 
空闲着）. 在等待队列上待修的机器数的期 望为： 

nj m 

vu = ik — l ) p k = 2 kp k — {\ — po ^* (7.17) 

= l ^ = 1 

此数可把 (7. 15) 对 ” = 0，1，… m 求和而 算出. 应用诸九之和为1 可得： 

mX -^ kw — X(l — p 0 ) = fjt(l — po ) 


或者 
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(7. 18) 

在表1 7 _2的例子中，我们有加=6 • (0.0 M 9). 因此， 0.0549 是一台机器对等待队 
列的平均贡献. 

( d ) 续上例.多个维修工的情形.除了把一个维修工改为 r 个 ( r 〈 m ) 维修工为 
m 台机器服务以外，上例中的其他基本假设均不改变.因此，对，/<〜状态 E „ 意味 
着： 「一《个维修工闲着有《台机器正在被维修，没有机器在等待队列上待修.对于;7 
> r ， 状态£„意 味着： r 台机器正在被维修，还有 w — r 台机器在等待队列上待修. 
除了 (7. 12) 显然要用 


Ao = Tnk ^ 


/M) 


0, 


X n = {m — n)X^ /i„ — 

代替以外，上一个例子的方法仍然可以运用. 


(1«厂）， 


(7. 19) 


我们不再写出基本的微分方程式组， 


而只写出有关极限概率九的方程式组.对于 有: 


{(m — n)X^rtfi ]p n = (m—n^DXp^i 

而对 r ^ n ^ m ， 有 


(7. 20 a ) 


(7. 20 b ) 


{ {m — ”） A += (m — n-\~l)Xp 

对 n =0, 显然此关系式决定了 A / A ). 由 （7.20 a ) 用归纳法得知，当 
no 时有 


(/7+1 = ( m — n)Xp 


(7, 21) 


最后，当时，由 （7* 20 b ) 有 


^ Pn+i — { m — n ) Xp n * (7. 22) 

这些方程式能使我依次算出比值久/办.最后，九可以由条件 Sp 4 = l 求岀.表 17-3 
中的值就是由这种方法得到的. 


表 17-3 当又 //i=(K l,m=20 ， r=3 时的概率 p„ 


n 

被维修的机器数 

待维修的机器数 

闲着的维修工数 

Pn 

0 

0 

0 

3 

0_ 13625 

1 

1 


2 

0* 27250 

2 

2 

0 

1 

0. 25888 

3 

3 


0 

0* 15533 

4 

3 

1 

0 

0. 08802 

0 

3 

2 

0 

0* 04694 

6 

3 

3 

0 

0. 02347 

7 

3 

4 

0 

0.01095 

8 

3 

0 

0 

0, 00475 

9 

3 

6 

0 

(X 00190 

10 

3 

7 

0 

0. 00070 

11 

3 

8 

0 

0. 00023 

12 

3 

9 

0 

0. 00007 
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比较表 17-2 和表17-3,可发现一些惊人的事实.它们参照的是同一种类型的机 
器 （ A / V =0.1)， 但是在第二种情况下，机器数 m = 20, 维修工数目 r =3. 每个维修 

工负责维修的机器数由6上升到6 但机器却得到更有效的维修 • 


定义机器的损失系数如下： 

^ 机器在等待队列上的平均数 
:一 


(7. 23) 


而定义维修工的损失系数为： 

P 空闲的维修工的平均数 f7 

r — 维修工数 • U ； 

为了实用的目的，我们可以把概率 h ⑴与极限/>„视为等同.在表 I 7 -3中， - w = p 4 

+2户 5 +3九+ ". + 1 7 九。，而 + +/>2.表 17-4 明确地证明了对于上述特定 

的 （ A /"= al ) 机器，每20台机器配3个维修工比每6台机器配一个维修工更经济 • 


表 17-4 例 （ c ) 与 （ d ) 中 所讨论的两种维修制的效率的比较 



(C) 

(d) 

机器数 

6 

20 

维修工数 

1 

3 

9 

每个维修工负责的机器数 

6 

6 3 

维修工的损失系数 

0. 4845 

0. 4042 

机器的损失系数 

0. 0549 

0, 01694 


( e ) 电力供应问题. [i26] —条电线供应 a 个电焊工，这些电焊工只是间断地使 用电. 
如果在时刻（，一个电焊工正在使用电，那么他在时刻以前停止使用的概率为 
fjl + oih )； 如果在时刻他没有要求使用电，那么他在£ + 以前要求使用的概率为 

Xh + oih ). 电焊工们的工作是相互独立的. 

如果恰有〃个电焊工正在使用电，则说系统处于状态艮_因此，系统只有有限 

个状态 E 。， …， 

如果系统处于状态艮，则恰有“一〃个电焊工没有用电，而且在长为 A 的时间区 
间内有一个新的要求用电的概率为 ( a — n ) AA + o (/ i ) ; 另一方面， n 个用电的电焊工有 
一个停止用电的概 率为叫 ^+ o ( w . 所以，我们得到了一个具有下列系数的生灭 

过程： 

A „ — (a — 77) A ， fi n = ryji ， (7. 25) 

基本微分方程式组为： 

P f 0 U ) = — aAP。 ⑴ +//Pi ⑴， 

P ’„( t ) = — {^ + ( a — w ) A } P „(,) + ( n + l )；« P — 1 ⑴ + ( a —”+ DAP 『1 ⑴， 

p f ait ) = — afjiP a ( t ) + AP a — i ⑴， 

(7, 26) 

(此处 —： L ) 容易验证极限概率由下述二项分布所 给出： 
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此结果直观上也可预料到. 



的精确表达式由习题17给出 .） 


17.8 倒退（向后）方程 


(7. 27) 


在前述诸节中，我们研究了在时刻 i 系统处于状态的概率此记号虽方 
便，但它没有涉及系统在时刻0的初始状态瓦，所以容易引起混乱.为了进一步的 
理论研究，最好返回来用第1节曾用过的转移概率的符号.因此，用代表在时 
刻5系统处于状态&的条件下，系统在时刻 s + i 处于状态£„的（条件）概率.我们 
继续用代表系统在时刻 i 处于状态£：„的（绝对）概率.当初始状态瓦给定以 
后，绝对 概率尺 （0与一致，但是，当初始状态按概率分布 U ,} 而选取 
时，贝 IJ 


P ”（ t )= (8.1) 

i 

对以前所考虑的特殊过程，我们已经 证明： 对固定的 ；，满足基本微分方程式 
组 （ 3_2) 和 （ 5.2). 下标 f 只出现在初始条件中，即 


PJO) = 



0 


当 71=1, 
否则. 


( 8 . 2 ) 


作为研究更一般的过程的准备，我们着手证这组相同的转移概率满足第二微分 
方程式组.为固定起见，以第3节中研究过的纯生过程开始.微分方程式组是用下 
述方法导 出的： 把时间区间由延长到 （ O,i + /0 并考虑其在短区间 ityt + h') 
内的 改变. 我们也可以将区间 （0， i ) 沿过去的方向延长并考虑其在 (- h ， Q ) 内的改 
变.用这种方法，我们得到一个新的微分方程式组，其中固定的是《 (代替 i ). 确 
实，在时刻一&处于状态£：,到时刻 i 处于状态的£：„的转移有3种互斥的方式 发生: 
(1) 在 一 A 到0之间没有跳跃发生，而系统由时刻0处于玖转到£：„; (2) 在一/^到0 
之间恰有一次跳跃发生，而系统由时刻0处于状态 E i +1 在时刻 t 转到 (3) 在 
一 /I 到0之间有多于一次跳跃发生 • 对应于第1种情况的概率是 l _ A 々+ o (/ i ) ; 第2 
种情况的概率是; U+o ( h )； 而第3种情况的概率 0(/1). 如像第2节和第3节一 


样，有 

P m =i\ ⑴ （ 1—A;") ⑴ A 々十 o("), (8. 3) 

因此，对^>0,新的基本微分方程式组是 

P ’ m (£) = — X{P i + i ,„ Ct ). (8.4) 

称这组方程式为倒 退方程式组， 为区别起见，称方程式组 （3.2) 为前 进方程式组. 

初始条件是 (8.2). [直观上，人们期望 

P m ( t ) = 0^ 当 （8.5) 

但病态的例外是存在的，见第9节例 （ b ).] 
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在生灭过程的情形，基本的 前进方程式组（固定 G 是 （5,2) — （5.3). 导出 
(8.4) 的类似推理可以导出对应的倒 退方程 式组： 


P \ { t ) = — (尤）卜 （8. 6) 

显然，前进方程式组与倒退方程式组不是彼此相互独 立的. 满足初始条件 
(8.2) 的倒退方程式组的解，只要惟一，就一定满足前进方程式组. 

例 泊松过程. 在第2节中，我们曾经把 （2.4) 的泊松表示式解 释为： 在任一 
长为 t 的时间区间内恰有 n 次呼叫到来的概率 • 如果在0到 t 的时间区间恰有〃个呼 
叫到来，则说系统在时刻？处于状态 £：„. 在时刻 A 处于状态 i 而到时刻~转到状态 
意 味着： 在&到 G 之间来到了 ”一；个呼叫 • 这种情形只有当才有可能，因 


此，对泊松过程，其转移概 率为： 

P in (t) = e^ 
P m (t)=0 9 


iUY~ l 
in — 0! 


当 

当 n < ii . 


它们满足前进方程 式组： 

P f m (t) = —XP^it) +AP “『！ ⑴ 


和倒退方程 式组: 


P' init) = —XP m ⑴ +AP t +l ， „U)_ 


(8,7) 


( 8 , 8 ) 

(8.9) 
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前面所讨论的只限于这样一些 过程： 它从状态瓦出发只能直接转移到邻近的状 
态 E „ + i 或此外，这些过程还是时齐的，即是说，转移概率*?^ (£) 对一切长为 
r 的时间区间来说，都是一 样的. 现在我们考虑更一般的过程，对它们来说，上述两 
个假设均不要. 

正如一般的马尔可夫链的理论一样，允许从任意一个状态瓦直接转移到任意一 
个另外的状态£„，而且转移概率允许随时间而变化.这就必须特别指明时间区间的 
两个端点而不仅仅是它的长度.因此， 把给定前面的时刻 r 处于状态£ ( 的条件下在 
时刻 r 系统处于状态的条件概率写作 除了 rO 以外，符号尸“："，?)是没 
有意 义的. 如果过程是时齐的， 则代 （ r ，0 只依赖于差 m 从而可以把 i \( r ， r + t ) 
(它不依赖于 r ) 简写成 hU ). 

在第1节中，我们曾经 看到： 时齐的马尔可夫过程满 足查普曼-科尔莫戈罗夫方 
程式： 




(9. la) 


对非时齐的过程，类似的恒等式是 
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p tn (ra)= 2 P r ， ,(r^)P^(5,i) 


(9.1 b ) 


对 r < s < Z 成立，此关系式说明下述 事实： 从时刻 r 处于 状态^ 到时刻 Z 转移到状态 
E „， 在中间时刻 s 处于某个状态匕，而且对马尔可夫过程来说，从£；转移到的 
概率 A 不依赖前面的状态瓦.因此，可数状态的马尔可夫过程的转移概率是 
满足下列边界条件 

2 P lk ( rU ) = l , (9,2) 

k 

的查普曼-科尔莫戈罗夫方程式 （9.1 b ) 的解.我们将不加证明地承认下列 事实: 
反之，这样的解代表了一个马尔可夫过程的转移概率/由此推出马尔可夫过程理论 
的基本问题是：找出满足边界条件 （9.2) 的查普曼-科尔莫戈罗夫方程式的全 


部解. 

本节的主要目的是 说明： 关于生灭过程的假设可以自然地推广到允许瓦的 
任意的直接 转移. 从这些假设出发，我们将推出两组分别称为前进方程式组和倒退 
方程式组的常微分方程 式组. 在通常的情况下，这两组方程式的每一组都惟一地决 
定一组转移概率.前进方程式组概率上较为自然，但是，它们的严格推导要求较强 


而且直观意义并不鲜明的假设， 

在第5节的时齐的生灭过程中，起始的假设是涉及转移概率尸„ (/0对小/ I 的性 
质，本质上，它要求导数在原点存在.对于非时齐的过程，我们也将加同样的条 
件在作为^的函数的 + 上. 其导数具有类似的概率解释，但它们 是/的 
函数. 

假设1 对每个状态 E n ， 存在一个对应的连续函数 g U ) >0，使得当 /i — 0 


时有: 


— P 前 （ , ， t+A) 

h 


⑴. 


(9.3) 


假设2 

h 0时有: 


对每一对状态£：,，£；, jh 存在转移概率九，（0 (依赖时间）使得当 


P tk 

h 




(9.4) 


其中/^(〖)是〖的连续函数，而且对任意的固定的/和厂有 


1. 马尔可夫过程的概念 要求. 在时刻 s 给定状态时刻5以前的发展不影响将来的 发展. 如第 1 
节中所指出的，査普曼-科尔莫戈罗夫方程式只是部分地表达了这一要求，因为它仅仅包含了一 
个时刻和另一个时刻是否存在非马尔可夫过程的转移概率也满足（9_1)这一长期关 
注的问题，现在已经得到解决，回答是肯定的.有已知的这种过程的最简单的例子是时齐的仅有 
三个状态6的过程.[参见 [127]. 这种过程是比较病态的，但是它们的存在性，与下述论断并 
不 矛盾： 每一个满足 （9.2) 的查普曼-科尔莫戈罗夫方程式的解对应着（在某种惟一的意义下) 
一个马尔可夫过程 .] 
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九 （/)=0. (9,5) 

k 

(9.3) 的概率解释是明显的，假设在时刻 i 系统处于状态£：„，在£到？ + &之间 
没有发生改变的概率为 q ( OA + 0 (/ i ). 系数巧*(0可解释为如下的条件 概率： 如果从 

乓 出发在（与之间发生一次改变，此改变使系统从 E , 转移到在生灭过程 

中， c n { t ) = X n J rfi ti 1 


A ?，』 十1 ( 广) 


A 




Pjj-\ 


P ± 


A ， 




(9.6) 


而对其他的7_和 々的组 合， Pjk ( t ) 
可夫链的转移概率. 


0 . 对每一个固定的可以解释为一个马尔 


上述两个假设足以保证推出 P M ( r ，(） 的倒退方程式组，但是，对前进方程式组， 
还要下面的附加假设. 

假设 3 对于固定的6， (9.4) 中的极限对 j 而言一致成立. 

此假设的必要性，在理论上是很有意义的，现讨论如下. 

我们视为 i 和々的函数来推导微分方程式组（前进方稈式组).由 （9.1) 
有 

P lk ( rU + h )= 2 P ^ r . OPjAta + h ). (9.7) 

把上式右边的 Pw (〖，(+△)这一项用 （9.3) 表示 可得： 

P tk ( r ， f ~ H/Q —— P t k ( rjt ) 

h 

= — c k { t ) P ik ( r ? i )+/ i _1 XI ( z $ t ) P jk ( i ， i +") + … （9. 8) 

此处略去的项随 A 趋于 o 而趋于0,而和 ■^是 对一切不等于 々的 来求和.现在把 （9.4) 
用于和号中的诸项.因为（根据假设 3) 极限对 j 一致成立，所以右边当 A 趋于0时极限 
存在.因此，左边的极限也存在，这意味着 P ^( r ， i ) 关于^的偏导数存在，而且 


= —Q ⑴匕 (r，，)+ S P,ir.t)c } U)p jk {t). (9-9) 

j 

这是基本的前进微分方程式组.此处纟和 r 是固定的，所以我们得到了（不计形式上 
的偏导数的形状） 一 组关于的常微分方程式/参数/和 r 仅在初始条件中 


出现: 


P lk (r?r) 




1， 

0, 


当 k = i ， 
否则. 


(9. 10) 


现在转而讨论倒退方程式组 * 在这些方程式中， A 和 t 保持为常数，所以转移概 
率可以考虑为初始数据£，和 r 的 函数. 在起始的假设的陈述中，初始变量 
保持固定，但是，为了推导倒退方程式组，把同样的条件参照时间区间 — 


1 . 标准形式是： xk(t)=—ck(t)xk(o+ xj(Ocj(opjk(o 9 
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来表述更为方便.换句话说， 从下面的条件 （9. 3) 和 （9,4) 的另外一种形 式出发 
更为 自然： 


1 — P ^ it — hjt ) 

h 




(9.3 a ) 


P jk ( t : h ，0 — q U ) p A t) (9.4 a ) 

不难证明这两组条件是等价的（或者把它们表述成一致的形式），但我们将从这后一 
种形式出发.下面的推导中值得注意的是，不需要类似于假设3的条件. 

由査普曼-科尔莫戈罗夫方程式 （9.1 b ) 有 

P tk ( r — h ， t ) = Pi JJ ( z ~ h ^ r ) P vk ( z 9 t ) ^ (9. 11) 


对 n — i 时用 （9. 3 a ) 得 


P tk ( T — h ， t )— P ik ( r ， t ) 

h 

=— c t (r)i^(r ，， )+/x— 1 2 Piv^r—h.^Pyk + — . 


( 9 . 12 ) 


此处 ir - h , r ) — c , ( r ) p iv ( r ), 而且 （9.12) 的右边的和中的极限总是一 
致收敛的.事实上，当 JV > i 时总有 

oc 20 

0<"- 1 2 P ^( r — 2 L ( r —"， r ) 

T/= V= N-bl 


h 




1 一 


1、 iy 

XI Piv(t-hjv) J^c f (r) {i_ 2 

v =0 11=0 


(9. 13) 


由条件 （9.5)， 只要选取 iV 充分大，可使上式任意小.由此推出，在 (9.12) 中逐 
项取极限是允许的，从而得： 


8Pt ^ r ^ =c i (T)P ik (T^)-c t ( r) S P^(z)P vk (r 9 t). 


(9. 14) 


v 


Pik ( ta ) 


(9. 15) 


这就是基本 的倒退微分方程式组 • 此处出现的 & 和 i 都是固定的参数，所以 

(9.14) 实质上是一组常微分方程式 • 参数 々和 i 只出现在下述 初始条 件中： 

_ 1，当《=是， 

0，否则. 

例 （ a ) 广义泊松过程.考虑所有的 G (0 等于同一常放 A 和^^不依赖 t 的情 
形.在这种情况下，是通常的马尔可夫链的转移概率，我们用 Pf (如第15章一 
样）表示其高阶转移概率. 

由于 Ci ( 0= A ， 所以在时间区间 + 内发生一次转移的概率不依赖于系统 
在时刻《所处的状态，且等于从+0(/1).这蕴涵了在 r 到 i 之间发生的转移的次数服 
从参数为 A “一 r ) 的泊松分布，已知恰 有”次 转移发生的条件下，从 i 转移到是的 

(条件）概率为因此 


P lk ir,t) = 


一 A (广 r) 


S 


X n ( t — r) n (n) 

。幻 hk 


(9.16) 
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(此处如通常一样，被 )= 1，你 )= 0,当）为容易 验证： 事实上 （9.16) 是满足 
边界条件的两个微分方程式组 （9.9) 和 （9.14) 的解. 


特别地，若 

p }k =0 r ^ k < j ), p ) k = L - jC ^ k ^ j ), (9.17) 

则 （9.16) 化为第 12. 2节的复 合泊松分布. ► 

这两组微分方程式，首先是由科尔莫戈罗夫在其关于马尔可夫过程的奠基性的 
重要论文 [128] 中推出来的.而当系数^(0对 i 而言有界时，费勒证 明了： 这两个方程 
式组存在惟 一一 组公共解 { P #( r ， i )}， 它们满足查普曼-科尔莫戈罗夫方程式 
(9.1 b ) 和边界条件 （9.2). 进一步地，在这种情况下，没有一组微分方程式还有其 
他的解，因此，本质上看，这两组方程式是等价的.然而， 一 些具体问题中导出的 
方程式中序列是无界的，如第4节中所证明的，在这种情况下，我们有时碰见 
一些意想不到的解，对它们而言 ，有： 

2 P jk ( za)<l <9 - 18) 

k 

且有些是严格不 等式. 已经证 明了 1 [对系数不加任何限 制]: 存在一组 最小解 

{ P jk ( z , t )}, 它满足两组微分方程式，而且还满足查普曼-科尔莫戈罗夫方程式 

(9. lb ) 和 （9.18). 此解称为最小的，是因为，只要{巧 〆 r ，£)} 满足倒退微分方程 

式组或前进微分方程式组[同时满足常用的初始条件（9.10)]，就总有 

P jk CT ,0> P jk ( za ). (9.19) 

当最小解对 一切？ 满足取等号形式的 （9. 18) 时，则除了 P #( r ， Z ) 以外’倒退方程式 
组和前进方程式组都没有任何其他的有概率意义的解.换句话说，当最小解不是不 
完全的时，过程惟一地被两组方程式中的任何一组所决定.如前所述，当系数列心” 

(0} 对每个固定的 i 都有界时，就是如此. 

当最小解是不完全的时，即是说 (9.18) 对某个〖（从而对全部 i ) 取不等式的 
形式时，情况就完全不同了.在这种情况下，存在无穷多组转移概率满足倒退方程 
式组和查普曼-科尔莫戈罗夫方程式，因此，存在无穷多个满足倒退方程式组和假设 
(1)、 （2) 的马尔可夫过程.其中有一些满足前进方程式组，但是在其他情况下，前 

进方程式组的解是惟一的 . 2 * 

例 （ b ) 生过程. 对时齐的生过程而言，微分方程式组 （3.2) 为如下 形式： 


1. 参见 [129]. 这篇文章处理了较一般的状态空间，但把可数状态空间作为最重要的特殊情况来讨 
论.这被后来某些作者忽略了，他们还对这种情况给出了更复杂又不完备的推导 • 时齐情形的最小 

解在第二卷书第 I 4 . 7节中用拉普拉斯变换推出来了.对于更完整的处理，请参见[ 130 ]- 

2. 回顾一下，只有假设1和假设2是具有概率意义的，而假设3是纯分析的，引进它仅仅为了方便而 
已.在下述意义下它是不自然的，即并不是前进方程式组的一切解都满足强加的：致性条件.因 

此，倒退方程式组表达了概率意义的条件，而且导出了一些有趣的过程，但是，对前进方程式组就 

不能这样说.这就说明为什么马尔可夫过程的全部理论都基于倒退方程式组（或者抽象地说，基于 
函数变换的半群比基于概率测度好). 
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生了，能否用这样的方法由 A 定义出来的变成一组转移概率，而且还满足査 
普曼-科尔莫戈罗夫方程式.回答是肯定的.我们不证明这一论断，但给它一个概率 
解释. 

定义了所谓吸 收边界过程.当系统到达无穷时，过程终止. 杜布 [131] 首先 
研究 了返回过程， 对这种过程而言，系统一到达无穷立即返回（或其他指定的状 
态）然后再按原样开始.在这种过程中，系统由&到或者经过5步或者经过无 
穷多步，后者具有一个或多个从 E 。 到“无穷”的连贯.这类过程的转移概率都形如 
(9.27)，它 们满足倒退方程式组 （8.4) 或 （9.23)， 但是不满足前进方程式组 
(9, 24) 或 （8.5). ► 

这就说明，为什么在推导前进方程式组时，我们强行引进陌生的假设3,而此假 
设对倒退方程式组是不必要的.直观的富有概率意义的简单假设1和假设2与返回过 
程是相容的，返回过程不满足前进方程式组（9.2 4 ).换句话说，如果我们从假设1 
和假设2出发，则 科尔莫戈罗夫倒退方程式组成立，但是，对前进方程式组，还必 
须加另一项 . 1 

纯生过程确实太平凡了，但是，如前所描述的条件，对最一般的科尔奠戈罗夫 
方程式却是典型的 • 然而，会出现两个本质上是新的现象：第一，生过程仅包含一 
条漂移到 “ 无穷”的线路，用抽象的术语来说，一个单一的边界点.与此对比 ，一 
般过程可能包含具有复杂的拓扑结构的边界，第二，在生过程中，由于只 有瓦— 
艮 +1 这种转移才是可能的，所以其运动直接趋向 边界. 可以构造各种不同类型的过 
程，例如，颠倒方向可以得到另一个过程，在这个过程中，只有的转移才 
是可能的.这种过程不是在边界结束，而是在那里发源.在生灭过程中，如像在一 
维扩散中那样，沿两个方向的转移都是可能的.在这种情况卜，存在与扩散理论中 
的弹性壁与反射壁过程相类似的过程，但对它们的描述，已超出本书的范围了 ■ 

17 . 10 习 题 

1. 在由 （3.2) 定义的纯生过程中， 令夂 >0对一切” 成立.证明： 对每个固定的 
P „ U ) 首先上升然后下降到 0. 如果&是极大值的位置，则 提示： 利用归 
纳法，微分（3. 2 )_ 

2. (续上 题).如果 ㈤ ，试证 4 — ㈤ . 提示： 如果 G—r ， 则对固定的序列夂代 
U ) 单增.应用 （4. 10). 

3. 尤尔 过程. 导出由 （3.4) 定义的分布的均值与 方差. [仅用微分方程式组，不用 （3.5) 
的精确表示式 .] 

4. 纯灭过程 _ 求出仅有转移的尤尔型的过程的微分方程式组.假定初始状态是 
E " 求出分布 h ( i ), 和它的均值与方差_ 


1. 进一步的细节，参见第二卷第 16.8 节. 
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5 . 停车场 • 设某停车场有 N 个泊位，且来到此停车场的车流是一个具有参数 A 的泊松流， 
但只当有空位可泊车时才 这样. 试求恰有 n 个泊位被占用的概率 PJr ) 所满足的微分方程 
式组. 

6 . 各种排队规则.考虑一个具有单一线路的按第7节例 （ b ) 中所给定的规则服务的等待队 
列.这时，我们考虑的过程完全从在时刻0呼叫的史密斯先生的观点出发.他的等待时 
间依赖于排队规则，即是在等待队列上的呼叫通过的次序.下列几种排队规则最为 重要： 

( a ) 后到后服务，即是呼叫按到达的次序通过. 

( b ) 随机次序，即是在等待队列上的每个成员，都有相同的概率作为下一个被服务者. 

( c ) 最后到的最先服务，即呼叫通过的次序与到达的次序相反 J 

把状态从一 1开始标号是方便的.在史密斯的实际服务时间内，我们说系统处于状态£： 0 , 
而当其服务结束时，系统处于状态£—，而且它永远停留在此.对《>1，如果史密斯的 
呼叫一直与其他〃一 1个呼叫（这 《_1 个呼叫将要或可能先于史密斯得到服务）一起在 
等待队列上，则说系统处于状态(正在被服务的呼叫不包含在等待队列内 .） 令尺 
Q ) 是时刻〖系统处于^的概率. 证明： 

^-1(/) = fjPoU ) (对三种排队规则都对). 

此外， 

( a ) 在后到后服务的规则下 ，有： 

P f n (t) = ~/jPn ( t) ⑴， n>0_ 

( b ) 在随机服务的规则下，当^>2 时有： 



8. 


9, 


P f M^~ {X+fjdPnit) +AP^l(0, 


P \ ( t ) — — (A + //)Pl (0+-^~/ ip 2 ( t ) 9 


P / Q (t) = —JuPo ⑴十 … _ 


( c ) 在最后到的最先服务的规则下，当 时有： 

尸^⑴(久+")尸”⑴十⑴ + AP 7 T - 1⑴， 
p\ ⑴一 a+ju)Pi(t) +/ 2 ⑴， 

P / o ( t ) = —fjtPo U ) 十 /iPl (f 乂 


(也可参见习题 20.) 

(续上题)，假定服务规则是后到后服务（情形 a ) 而且 P r (0) /二 L 证明: 


Pk ( t )=^ 






(续上题).把习题6推广到有 a 条线路的情形_ 

波里亚过程 U33] . 这是一个非平稳的纯生过程，它的参数； U 依赖 时间: 


又打（广） = 


1 +an 


( 10 * 1 ) 


1. 当最后的信息（或观察值）带有最大的权的时候，这种规则在信息传输机中是有意义的.此种处置 
来自文献 [132]. 
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证明具有初始条件 P 。（0) = 1 的 解为: 


P 0 ( t )^( l + atr la 9 

p n (t) = n+a)(l + 2a)-{l + (^^l)a } 八 l+a0 ~n-v 

n\ 


( 10 . 2 ) 


10 . 


再由微分方程式组证明其均值与方差分别为 i 和 Ul + at ). 

(续上题) . 波里亚过程可以由第 5.2 节例 （ c ) 中的罐子模型取极限而得.如果把系统的 
状态定义为抽出的红球的个数，则在第 〃+1 次抽取中仏—£； +1 的转移概 率为： 

_ r~\~kc _ p~\~ky 


pk ， 


r + 6+72C l-\~rty 5 


(10.3) 


此处 >= r /( r +6)， y = c /( r +6). 

如像从伯努利试验过渡到泊松分布那样，设抽球以^个时间单位为一次的速度进行， 
并令 / i — 0, rr - oo 满足： n 卜 t ， ny — at . 试证明把 (10,3) 取极限导出（10.1)，并证明 

第5章 （2,3) 的波里亚分布化为 （10.2). 

11,线性增长.如果 （5.7) 定义的过程有 A = "和仏（0) = 1，贝 IJ 




朽⑴ =T^， P 


⑴ 


(Xt) 


厂 1 


(l+AO n+ ” 


(10.4) 


最终灭绝的概率为 1. 

12. (续上题).取 ⑴二 A ⑴⑴作为 （5.7) 的一个试验解，证明满足 Pi (0) = 1 的 解为: 


P 0 ( t )= fjB ( t ) ⑴二 {1— AB (£)} { l — fSit )} iXB ( t )} 


t -\ 


(10,5) 


其中 


Bit ) 


1 — e a_/i)f 


13. (续上题).母函数 P (5,0=： E 尺⑴ < 满足偏微分方程式: 

8P - U + A + As 2 ' 逆 


( 10 , 6 ) 






(10.7) 


14. 


15. 


(续上题). ^ M 2 ( t )= ln 2 PAt ) MU )- lnP n ( t ) (如第5节一样). 

JVf 2⑴ = 2 ( 又 一 fi)M z ⑴ + (/l+")M(,). 

当入>/^时，试推出 { Pnit )) 的方 差为： 

e 2(A )" {1 — e c ^ _A)r } (久+")/(又 一 ")• 

对过程 （7.2) 来说，母函数⑴^满足偏微分方程式: 


证明: 


( 10 , 8 ) 


(10. 9) 




( 10 . 10 ) 


其解为: 


P(5,t) = e' 


—j)( 1 —e ’ 


l—(li)e 一叶 . 


时，分布 iPn ( t )} 趋于具 


16. 


当 z = 0 时，这是具有参数 A(l — 的泊松分布 • 当 
有参数 A /" 的泊松分布， 

对 （7.26) 定义的过程而言，稳定态的母函数 PG )= 2户 〆 1 满足偏微分方程式 


(一 ) f 




aXP » 


( 10 . 11 ) 


其解为 P = {(^+ A 5)/( A +//) ) a * 




364 第 17 章最简单的依时的随机过程 

17. 对微分方程式组（7_26)，取一个形如 

的试验解.证明它确实是解的充分必要条件是 

A( 1 - e- (A+ ")。 _ 

18 . 在“最简单的占线问题”的第7节例 U ) 中，令 a ⑴是系统从£；出发在时刻？以前到 
达 E 。 的概率.证明 a (〖）满足微分方 程式： 

C / rt ( t )- — ( X J r ? ifx ) Q fl ( t )-\- XQ n +i ( t ), ( n ^2), (10. 12) 

⑴ + AQ 2 ⑴ 十"， 

及初始条件 CU 0) = 0. 

19. (续上题).考虑由任意一个前进方程式组所定义的过程的同样的问题. 证明： 兑（0满足 
对应的倒退方程式组（对固定的 W ， 其中代之以1, 

20. 证明： 习题6中的微分方程式组本质上与转移概率的前进方程式组是一样的.推出相应 
的倒退方程式组. 

21. 假定两个方程式组（前进和倒退）中至少有一个方程式组的解是惟 一的. 证明转移概率 
满足査普曼-科尔莫戈罗夫方程式 （1.1). 

提示： 证明两边都满足具有相同的初始条件的同一微分方程 式组. 

22 . 令仏⑴满足查普曼-科尔莫戈罗夫方程式 （1.1). 假定匕⑴ >0时且 S , ⑴= 

k 

(0<1. 证明： 或者对一切 r 有 S ,( r ) 二 1; 或者对一切/有 S, ⑴ <h 

23. 遍历性质.考虑一个具有有限多个状态的平稳过程，即是，假定微分方程式组 （9.9) 是 
有限的，而且系数^和都是常数， 证明： 解为指数项的线性组合，除非 A = 0, 
其中 A 的实部是负的.证明其转移概率的性质与有限的马尔可夫链（除去周期的情形) 
的情形是一样的. 


习题解答 


第1章 

1. (a) 3/5； (b) 3/5； (c) 3/10. 

2. 事件以及分别包含了 12，12，18和6个点. 

4. 这个空间包含了两点 HH 和 TT， 其对应的概率各为1/4 ; 包含了两点 HTT 和丁 HH， 其 
对应的概率各为1/8; —般地包含各具有概率21的两个点(/2>2).这些概率之和为1， 
因此不需要考虑无穷的抛掷的序列的 概率. 我们所要求的两个概率分别为15/16和 2/3. 

9. P{AB} = l/6, P{AUB} =23/36, PiAB ^^ l / 3 . 

12. 在事件 （ a)，（b ) 和 （ g) 中，： r=0. 

在事件 （ e )， （f) 中， x = l . 

在事件 （d) 中， ：r=2. 

在事件 （c) 中， x-4. 

15. ( a ) A ; (b) AB ； ( c ) BiJ ( AC ), 

16. (c)，（d)，（e)，（f)，（h)，（i)，（k)，（1) 是 对的. 除非 CCB ， 否则 （ a) 是无意义的. 
甚至在这一情 形下，一般 也是不 对的，但是在特殊情形 CCB，AC=0 下， 它 是对的，如 
果 C 二) AB， 贝 ij (b) 是对的 • （ g ) 应该是 （AUB)—A=A^B . 最后，由于 （ k ) 是对的故 
( j ) 不对. 

17. ( a ) AB ； C' ; ( b ) ABC ； ( c ) ABC ； ( d ) A[JB[JC ； ( e ) AB{JAC[JBC ； 

Cf ) AB ’ C ’ UA ’ BC ’ UA ’ B ’ C ; ( g ) ABdUAB ’ CUA ’ BCsC ^ BUACUBC )— ABC ; 

( h ) A'B'C ； ( i ) (ABC)\ 

18. AUBUC = AU ( B - AB ) U { C - C ( AUB )}= AUBA / UCA / B \ 

第 2 章 


1, ( a ) 26 3 ； ( b ) 26 2 +26 3 = 18 252； ( c ) 26 2 +26 3 +26 4 _ 在一个有 20 000 个居民的城市中， 

或者有姓名缩写相同的，或者至少有1748个人的姓名缩写多于3个字母. 

2. 2(2 10 -1) = 2046. 


3. 



7?(n+l) 



4* ( a ) 




( b ) 


nin _ 1 ) # 


5. 





* 


6 - ( a ) p \ — 0 * 01 ? = 0 . 27 ，户 3 —0*72； ( b ) p \ — 0. 001» Pz ~ 0. 063 9 ~0- 432 ， 
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/>4 = 0- 504. 

7. Pr = (l0) r l0-\ 例如办 =0, 72, 办。 =0. 000 362 88. 斯特林渐近公式给出/ >1 。 =0,000 359 8 -、 
8- (a) (9/10/ ; (b) (9/10)S (c) (8/10)^ (d) 2 (9/10)'- (8/10)^ (e) AB 和 AIJB. 



11* 恰为 r 次试验的概率为 ( n — l ) r - i /( n ) r ^ n ~\ 

12. ( a ) [1-3-5 . (2”一 l )]- y ”！ / (2 n )! ; 

( b ) ( n \) [1 - 3. (2 w _ l )]- M ”" 2 :). 

13. 假定它具有随机性，则12张罚款单全部都在星期二和星期四的概率为（2/7) 12 = 
0,000 000 3….只有 6)=21 日子，所以即使对任意两天来说，这个概率仍然很小_因 
此，有理由认为警方是有其体系的. 

14. 假定它具有随机性，此事件的概率是近似于不可能有可靠的结论. 

15. (90) 10 /C100) 10 =0. 330 476—. 

16. (25!) (5!) _5 5 _25 =0.002 09"' 

2(n ~ 2) r (n 一 r 一 1 ) | — 2(n — r — 1 ) 

• n ! n(n — 1 ) • 

18. ( a ) 216 ； ( b ) 3 g gg . 

19. 概率为 1—( 音 ） 4 =0.517 747…和 1— (||) 24 =0_491 404."_ 

20. ( a ) ( n ~ N ) r / ( n ) r ； ( b ) (1- N / nY . 对于 r 二 iV =3, 概率为 （ a ) 0.911 812 …； 

( b ) 0.912 673 _•、 对于 r = N =10, 它们是 （ a ) 0.330 476； ( b ) 0. 348 678-. 

21. ( a ) (1 — N / n ) r_1 ; ( b ) ( n ) Nr / ( ( w ) jv ) r * 


22 - (l — 2/ rz )，— 2 ; 中位数近似地等于2出=0.7凡 

23. 假定它具有随机性，三个或者四个都是 （ a ) 某一个女孩打 破的； （ b ) 最小的女孩打破的 
概率分別为2和^〜 O . 05. 


24* (a) 12! /12 12 =0. 000 054 ； (b) 
25 . 黑 f 12 W— 30 樣 000 35 …. 


12 

2 


(2 6 _2) 12 _6 =0. 001 37—. 


2 6 6 6 V 6 7 12 


26. (a) 


n 

Zr 


2 21 


28 . H 2 iT 


2n 
Zr 

N~l\ 

r — 1 ) 

4JV 
2N 


) 


(b) w 


n 一 1 


2 


) 2 2> 


— 2 


2n 

2r 


);0( 


n 一 2 
2 厂一 4 


) 


一 4 


2n 
2 rT 




29. p 


)( 


48 


39\ /26 


)()( 




U - kf\Uf M 3 
52 \ / 39 \ /26 \ 
13/ V 13/ V 13/ 


52 

13 


13 \/ 39 


30. 参 看习题 29. 其概率为 


31. 


32, 


34, 


35. 


36 


39 


13 —w 


K 13 — m \ / 26 +m 
n / V 13 — n 


52\ /39 


)( 


13八13 厂 


4 W 48 

^ / v 26 _ k 


)( 


39 

13 — a 


)( 


<52\ 

、 26 厂 

13 — a 


)( 


26+ a \ / 13 — a — b \ ( 13+ a +6 


)( 


/ V 13 — b f V 
52 w 39 \ / 26 
IS A 13/ V 13 


)( 


13 —c 


33. ( a ) 24户(5,4,3，1); ( b ) 4 p (4,4,4， l ); ( c ) 12户(4,4,3,2). 


13\ /13 


?)( 夏 )( 


52 

13 


. [一手牌含有某种花色的牌 a 张，另一种的6张……这一事件的 


概率，参见习题 33.] 

/> o ( r ) = (52 —r) 4 /(52) 4 5 pi ( r) =4r(52 —r) 3 /(52) 4 ; pt (r) = 6r(r — 1) (52 —r) 2 /(52) 4 ; 
pi (r) = 4r(r — 1)( 厂 _ 2)(52 _ r)/(52) 4 ； pi(r) — ri/(h2)^. 

第1，……，第 4 个爱司的等待时间超过 r 的概率为 t^(r) = />o(r) ; ^ (r) = /> 0 (r)(r) ； 

助 （ r) = /? 0 (r)+/?i (r) +/>2 (r) ( 广 ） = 1 — p 4 ( 广 ). 其次， fi(r)=vui(r — 1)— 叫 (r)_ 中位 




数为 9,20,33,44_ 


37, ( a ) 



4一 k 


48 \ / 48 — r +^ 


)( ： A)( 


5 r 2 )( 52 r _r )^ 其中是 


_ k 


( b ) 


( 1 )( 


48 




2 


，其中 《4. 


n +72 — 1 \ / r 2 +72 — 1 


)( 


40, 


+ 5 


(r 2 +1) * 


(ri + r 2 + r 3 )! 

42. (49) 4 /(52) 4 . 
43 - P {(7)} 

P {(6,1)} 

P {(5,2)} 

P {(5，1，1)) 



P {(4,3)} 


10 ! 

8 ! 1 ! 1 ! 



3!4! 



= 0 , 000 001 _ 
= 0 , 000 063. 

=0. 000 189. 

— 0, 001 512. 

= 0. 000 315. 
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P {(4,2，1)} 


P {(4，1，1，1)} 


P {(3,3，1) 


P {(3,2,2)} 


P {(3,2，1，1)} 




P{(2,2,2 ， 1)} 


P {(2,2，1，1，1)} 


P {(2，1，1，1，1，1)} 




10! 

■ 7 ! 

7!1!1! 

1!2!4! 

10! 

, 7! 

6!3!1! 

1!1!1!4! 

10! 

■ 7 ! , 

7!2!1! 

1!3!3! 

10! 

. 7! • 

7!2!1! 

2!2!3! 

10! 

一 7! 


10 


— 7 


_ 


10 


— 7 


10 


— 7 


10 


7 


6!2!1!1! 

1!1!2!3! 

10!—. 

7! 

5!4!1! 

1!1!1!1!3! 

10! 

■ - - - • 

. 7 ! • 




10 


-7 


■ 


10 


— 7 


6!3!1! 

10 ! 


1 ! 2 ! 2 ! 2 ! 

7! 


10 


一 7 




5!3!2! 1!1!1!2!2! 

10! ^ 7! 


10 


— 7 


4!5!1! 1!1!1!1!1!2! 

10 ! 


10 


-7 




3!7! 


7 卜 ia 


7 


44. 令 S ， D ，7\ Q * 别表示一重、二重、三重、四重，则我们有 


= 0. 007 560. 
= 0.017 640. 
= 0_ 005 040. 
= 0. 007 560* 
= 0, 105 840. 
= 0. 105 840. 
= 0. 052 920. 
= 0. 317 520, 
二 0- 317 520, 
— 0. 060 480, 


P {22 S } 

P {20 S + ID ) 

P {18 S +2 D } 

F {16 S +3 D } 

P {19 S +1 T } 

FU 7 S +1 D +1 T } 

P {14 S +4 D } 

P {15 S +2 D +1 T } 

P {18 S +1 Q } 


365! 

343! 


365— 22 


365! 

U 344! 


22 ! 

20 ! 2 ! 


• 365 


22 


365! 

2!345! 


22 ! 

18! 2!2! 




365 


22 


365! 

31346! 


22 ! 

16!2!2!2! 


365— 22 


• ilfii ^_ 22 




365! 

347] 


22 ! 

14!2!2!2!2! 


365— 22 


365! 

347] 


22 ! 

15!2!2!3! 


365— 22 




= 0, 524 30. 
二 0. 352 08. 
^0.096 95. 
= 0, 014 29. 
= 0. 006 80. 
= 0, 003 36. 
二 0.001 24 
= 0 , 000 66 . 
= 0. 000 09. 


45. 令 (?= ( = ) =2 598 960,概率为 U ) i / q ； ( b ) 13 • 12 • 4 • g — 1 =^; 


( c ) 13 • 12 • 4 • 6 • 9 


4165 


； ( d ) 9 • 4 5 * q 


一 l 


768 


( e ) 13 • ( If ) ; 4 • 4 2 * q 


216 580 


晶 （ M? 




11 


• h • n • 


4 * q 


198 , 、 u /12 

4165 ; (g) 13 V 3 


* h • 


3 - q~ l 


1760 

4 l 65* 
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99/323. 


2 , 0 . 21 


3. 1/4, 


4, m \ 


1/81 和 31/6 6 . 


若 A 为事件 a ， 走）不出现，则由 as) 有 in(||) r —(g)(||) r +G)( 33 、 r 


36 




令/ >— 1 


52 、 „ . / 48 


) , WIS , 


P ； S 2 


13、/44 


)0 


40 


13 


P - 近似值为 


0. 096 58 ；尸⑴ =0.0341; P [2] =0, 000L 


g (—<) (卜少 


k = i ) K 


N\ Cn—k) 


k f in) r - 


关于两个公式的一致性的证明，请参看第 2 章 （ 12.18) 


10, —* 般项为 <2% 似 2 … “Nfe v ， 其中 dk 2 ，， " ， kN) 为 (1 ， 2,… ， N) 的个 排列. 对于对角 


元素来说 

n 

u r — ( — D k 


k^O 


n \ (ns—ks)r 
k / (ns) r 


14. 注意： 由定义知时 “ r = 0 ， 且 … 


15. U r 一 = ( — 1) 


h /n—\ \ (ns-ks)r-i 
— 1 / (ns —1)「1 


. 其极限为 t (一 1) 


^^0 


n 一 1 

k 


)( 卜苧 


16* 


s (- D “( r )( 


17. 应用 


52 


52 _ 13 是 


. 则近似地有 P[。] =0.264 ， Pco^O. 588, P [2] 二 0_146, 


P[3] =0, 002. 

18. 应用 (X)( 


S2~2k 
13 一 2k 


• 则近似地有 =0,780 217 ， F [n -0.204 606, P [2] 


0.014 845 ， P C3 ]=0- 000 330, P w =0.000 002. 


19, m]N\ Urn 


N-m 

s 

k = 0 




20. 参看下面的公式 2 的情形 • 


21. (rN)! - ( f) P (WV—3)!+ — … + ( — 1)〜 N ON—N)! • 

g ㈠ 彳 7)(”1 + 一 ). 





24. 右边的二项系数是 （8,2) 中的分子的第一个因子的极限， 注意: 

O + w . 

26■由 （5.2) 有 

28. ( a ) u 2 ； ( b ) u 2 + u ^+ z //4； ( c ) u 2 + (25 ut ;+9^ + iw +2 mw )/16. 

33. pn = p 32=2 p 2 i = p , pn = p ^=2 p 2 z ^ q , pn = p 3\=0, 
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1. 5/16. 

2，其概率为0, 028 01"- 

3. (9, 9 广 <0. 1， ： r >22. 

4. 和 ( l ~4^< y , 其中户 =( 4 9 8 )/( g ). 因此分别为: r >263 和 o :>66. 

5. 1-(0. 8) 10 — 2(0. 8) 9 =0. 6242 …. 

6. {1-(0. 8) 10 -2(0, 8) 9 }/{ l -(0. 8) 10 }=0. 6993 …. 

7 - ( 2 2 6 )( ll )/( l 3)^°- 003 咖 …和 (?) 告 =a _ 必... 

8. ( f ) {6 - 6 -2 • 12-”. 

9. 正确的值为 0.6651 …， 0.401 87 …和 0. 2009 …； 泊松逼近为 1 — e — 1 =0. 6321…， 0. 367七_. 
和 0. 1839 …. 

CO 

10. e- 2 U 2 V 々!=0.143"' 

4 


11. e™ 1 2 1A! =0.080—. 

12. e— x/1 °°<0.05 或者 x>300. 

13. e— 1 =0.3679 …， 1 —2 • e 一 1 =0. 264 …. 


14. e _J: <0.01，：r>5 ‘ 

15. 1/ 产 649, 740. 

16. \ — p n ^ 其中 /?=/>(0;A)+ … + 户 (是; A). 

18. 当 6 = 0 时为 g 3 ; 当々=1，2, 3时为仰 3 ;当6 = 4时为抑 3 _网 6 . 



2~ ln = (^)2^ 2 fl ^ l / 对充分大的 


20. ( a + b ~ l ) p k q a ~ b - l - k . 这也可以写成另一 形式: 

k=a 

第^次成功发生在第々<6 — 1次失败以后的概率. 


p a § ( a + ^ _1 y , 其中第&项是 

k = 0 V 々 
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21, 



/2N-l-r\ 
V N-1 / 


2 — 2iV+r+l 


22. (a) _r= ^ x r 2~ r ^ =2~ 2N (^ 二 1 厂 ) ； （ b ) 应用第 2 章 (12. 6). 

™ 1 r = 1 

23. k^npi ； 

24. ( W • ( frp ^ n … v>， 其中 5 ,=„ 1+ … 

^n\ f ^ rti f \ n r ’ 


25* p = piq 2( pi <}2+ p 2 qi )'~ 1 . 

31. 由对数的泰勒展开 

b (0; n ， p ) =(f = ( l — X / n ) n < Ce~ x =/?(0；A). 

对每一个分布来说其各项之和为1，因此，不可能有这样一个分布，它的各项都大于另一个分 
布的对应项. 

32. 泊松分布中只有有限多项大于 S ，其余各项支配二项分布的对应的项. 


第7章 

/ 32 \ 

1. 如第1节一样进行. 2. 应用 （1. 7). 3•沉—— =0. 143…, 

V 30/ 

4. 0.99. 

5. 51 L . 

6. 66,400. 

7. 非常确切.第 6 章的不等式足以说明，超过 8 倍标准差是很不可能的. 

8. (2tttO— 1 {/?1 户 2 (1 —pi — p2 ) 广 1 2 * 
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1_ /3=21. 

2* x = pu ~\~ qv ~\~ nv ^ 其中 w，w 为下列方程组的解 


l - 炉— 】一 

■■■ . *7 t - 

1 — ’ 


u~ p a l H - (q^H-rw) 丄1 ^~ ： — ， u~ ( pu~\~rw) 


l — q " 
1-g 


w — pu~~h gv~h rrv = x . 


3. 


u 


p a ~ l +(qt；+rw;) 


1 -纩 一 1 
1 — 声 ’ 


v 


1 — Q ^ 1 —厂 ’ I 

(pu-\-rw) — 9 rv = ipu 十 qv) t — 


4. 注意： P{AJ<(2 ^) n ； 但是 P{AJ>1 —(1 ——e 


{2p) n 2n 


. 如果，则最 


后 一 '个量 


2 n 


如果/0>1/2,则 P {/ U 不会趋于 o, 
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可能的组合为(0,0)，（0，1)，（0,2)，（1，0)，（1，1)，（2,0)，（2，1)，（3,0).它们的概率分别为 
0.047 539,0. 108 883,0*017 850,0. 156 364,0. 214 197,0, 321 295,0. 026 775,0, 107 098, 

(a ) 联合分布可以写成6行6列的矩阵.其主对角线上的元素为 g，2g， …，6心其中 


1 

I —— … 

— 36 


. 主对角线一边的元素全为0,另一边的元素全为义 （ b ) E ( X ) = 7/2, Var ( X ) 


||， E ( Y ) 


f ,Var(Y) = f||,Cov(X,y)=f. 


在 X， y 的联合分布中 • 其各行为以 32 -i 乘（1，0,0,0,0,0)，（0,5,4,3,2，1)，（0,0,6,6,3, 

0),(0,0,0，1,0,0); 

对 X， Z 的联合分布来说，其各行为以 32- 1 乘（1，0,0,0,0,0)，（0,5,6，1，0,0)，（0,0,4,6, 
1，0)，（0,0,0,3,2,0)，（0,0,0,0,2,0)，（0,0,0,0,0,1); 

对 y，Z 的联合分布来说，其各行为以32- 1 乘(1，0,0,0)，（0,5,6，1)，（0,4,7,0)，（0,3,2, 

0)，（0,2,0,0)，（0，1，0,0), 

X+Y 的分布为（1，0，5，4，9，8, 5) 除以32，而 X + Y 的值从0到6; XY 的分布为 
(1，5,4,3,8，1，6,0,3，1)除以 32，XY 的值由0到 9. E( X) = 5/2, E(Y) - 3/2, E ( Z ) = 31/ 
16 ， Var ( X )-5/4, Var ( Y )-3/8 ? Var(Z) = 303/256, 

( a ) p/(l + q ); ( b ) l /( l +?+ 9 2 ); ( c ) 

%的分布由 （3.5) 所给出 * 由于对称性，的分布同样可求出， 

( a ) 对 


P { X — r , Y - s )= 


N 一 71 {(r — 5+l) n — 2( r — s) n — s — l) n } ， r〉s 

AT%r=s_ 


( b ) 


——2 _ 

〆— 


(r—l) n 

( 广 I” 


n -2 


，若 ）0 且 &o_ 




10 . 


x =0, 若或者々 > r. 

, 、 ^ nN 2 

(c) ^^(/7+1) 2 (w+2) + 

n 次双重拋掷的概率为 2 pq { p 2 + q 2 )-\ 期望为 \/{2 pq ). 


12. P{N = n，K = k ) O k iqq’Y • qp 、 k<n 


P { N = n } = (l — qp f Yqp \ 
P { K = k ) — ( qq ) k qp / ^ 


一是一 1 


py 


pV 、 


13. 


oc 

E(^M-7)= ^kpk,J(n J \~l)=(fp / q f Yj 


1- 


7?+l 


)ip f + qqr~ l 


k*n 


心 V 


I^-a^ log 


QP 







12. 利用 Xp 的几何分布的母函数，不需计算，我们有 

13- P r ( s){N — ( r —1)5} — P r -i ( s ) (N — r — 1)5, 

j p x \__5__ 2 .j _ __ 

n r r Ks )=^-~ ( N _ l y s - N -( iV -2)5" N ^( iV - r )5* 

15. &是具有共同的几何分 布的/ •个独立随机变量之和.因此 

PAs) = { t ^ J s )^ p ^ pk { r+k ^ l \ 


16. ( a ) P{R=r} = 



=k}P{X r >v-k} 



E ( i ?) = l +^, Var ( R )=^?. 

P P 

(b) i P ,p 2 r 2 ( n ^!7 2 ) 2 (㈣ 广、 

v— 1 

17. 注意： l + s+ - hs 4 *—! =(1+5+ … + 厂 1 )(1 + 尸+户+… +<s( 6_1)a ). 

21. 叫 = 矿+ ^ 2 1 ) 户 3 4 ^ _3 叫- * ，其中 =9 ， M2 =?2 ， m 3:/» 3 +<? 3 . 利用递推关系具 

有卷积形式这一事实，得 

a (5)= T ^ + a ^ y a(5) - 

22. 〜二批― i +叫— 叫 = M - i + 料 — 因此 U ⑴ — 1 = /^^)+讲17(山 
V(s) =psU(s) 十 qs • V(s) ； W(s)^psV(s)+qsW(s). 
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1. 只需证明对于 F ( s )= i 的所有根我们有 Ul > i ， 且仅有周期情况才可能有 M == i . 

2. « 2 „=|(^)2- 2 "}^1//(^.因此仅当 r =2 时 S 是常 返的. 对于 r =3 数值积分的切 

线法给出 

^ 1「°° 1 3 / 2 1 

§ u ^rJ^ 叫 n 

3. 叫”〜彳6/(2抑) 5 .因此，如 - 所以 047 和 / %0 . 045 . 

2 

4. ucm ) n =( ( A ^ 1) W )/> V . 除了产 A /( A +1) 外邻近两项的比小于 1. (此结论也是大数定 
律的一个推论 .） 

6* 从2/+^兄>0}<1推出/<1，除非 ^^>0)=0. 在这种情况下，所有的又<0, 
且 S 出现在第1次试验或从不出现_ 




12. 边界条 件为： u a ^= u a - Uri . 母函 数为： 

x z i ( s ) xr ^ ( s )+ xHs ) xr ^ ( s )^ xr z ~^ ( s )-\- xr z ^( s ) 
Ari <5>+ Ar ^ ( 5 ) . A!~i (5 )+Ar 士 g ) 

18. P { M n < iz } = 2 iv x - z ^ — v jr +^ n ) 

x= 1 

P { M n = z )= P { M ri < z + l )- P { M n <^ z ). 

19. 第 1 次经过 x 必须出现在而实点从: r 返回在其后〃一々步. 

31. 关系式 （8.2) 用下式 代之： 

o - 1 

U z ( s)~s L^ (5)/>r Z +K. 

j：— 1 

特征方程式是 >2 aV = 1. 
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L P 的 行是： （/?， q ，0,0)， （0,0，/>4)，（户，9,0,0)和（0,0，户，9).对《>1，各 行为： ( p \ 

pq . pq . q 2 ). 

2. (a ) 链是不可约的、遍 历的； 对一切 j 和々成立.（注 意： 是双重随机的 .） 

(b) 链的周期为3, G 包含巧和^，状态£；构成 G，E 3 构成我 们有： u ,= u 2 = y ^ 


Uz ^ 1 . 

(c) 状态 K 和 E 3 构成一个闭集 Si ，£ 4 和 E 5 构成另一个闭集 S 2 , 而£ 2 是暂留状态.对 
应于两个闭集的矩阵都是 2X 2 阶的，所有元素都是因此 

^ (当6和^属于同一个闭集 s 山 

0；最后 ， pit (当走=1，3)，鴻 )—0 (当々 = 2, 4, 5). 

(d) 链的周期为 3. 令 a =(0,0,0，+，+，+)， h =( l ，0,0,0,0,0), c =(0, +，+，0,0,0)， 

我们发现浐=戶=…的诸行为： a , b , b , c , c , c ； 而…的诸 行为： hc，c，n 
a;P=i^ = …的诸 行为： c , a , a , b f b , b . 

3. pjf —ij/%) n , pjf =( 左 /6) n —((々一 1)/6)” （当 O)) ， 而成) =0( 当 k<Cj). 

A _〈3 丄丄丄） _ 〖丄丄 A 丄、 

4. 、4，2，4，2 厂 >_、4，2，4，2厂 


6. 

7. 

8 . 


对 n^j 



母函数为 ( qs) J 期望为 

/ 0 s)= 2 C=;) 广 1 — 


偶数值的状态构成一个不可约的 闭集. 在第《步以前（包括第《步）返回的概率为: 
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l — Vo J rVo(l — V 2 ) J \- VoV 2 {l — V 4 ) J \- m ** J \- VoV 2 *^ V 2 n - 2 ( l ~ V 2 n )— l ~ VoV 2 Vji *^ V 2 n 

因此，偶数值状态是常返状态的充分必要条件是最后一个乘积趋于 o . 系统从 e & +1 出发， 
永远留在奇数值状态（暂留状态）的概率为 Rr 十 1 VZr^rZ '*** 


9. u r = [_l~p/q] ipiqY^ 1 [1— (p/q ) p ]—、 

10. 可能状 态为： £。， …，对） >0 


pj.j 1 = j ( p - xv -\- j ) p ~ 2 , pj^i = ( p — j )( w ~ j)p 


— 2 


r JJ 


b 

k)\ p 


-2 


U k 


(DU 


(?). 


13, P 


<1 

0 


P 

0 


0 0 0 


1 


0 

0 

0 


0 

0 


0 0 0 0 


0 


1 


Lq p 0 0 ••• 0 0 」 

14. 注意： 矩阵是双重随 机的； 应用第 7 节例 （ h ). 


15. 令(对 A = l ， …， N — 1 ) 和户 

16. 所以170)=处（1一5)尸(5){尸(0_4' 遍历性的充分必要条件是" 

<i. 由洛必达法则， mi )= uo ( i -^), 其中⑽ =a —户 ) _1 - 

25. 如果 iV > w —2,随机变量乂⑹和是相互独立的，因此矩阵的三行都是一样，就 

是 X (”) 的 分布： （+，如 +) .对 ” = 这二行为：（+，如0)，（ +，+，+ )， 
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3, E(X)-^； Var (X) = ^(^- l). 

4_ P f n = — + A(?7+l)Pn+i. 

P„(0= —IV— ” (^<0. 

E(X) = ； Var(X) = ie - ^ (1 — e—” • 

5. ⑴ = _(A 十命⑴十 Ai=Vi ⑴十 （ "+1)〆" 出⑴对 1 和 P' N (t) = -NfJ > N (t) + 

AF jv — 1 (t). 

19. 解线性微分方程式组的标准方法导出一组线性方程式组. 
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